Intel® FPGA AI Suite
Entdecken Sie jetzt, wie die Intel® FPGA AI Suite Embedded-Systeme und Rechenzentren um FPGA-KI erweitern kann.
Überblick
Intel FPGAs unterstützen Deep-Learning-Inferenz in Echtzeit mit geringer Latenz und geringem Energieverbrauch und bieten zudem folgende Vorteile:
- I/O-Flexibilität
- Neukonfiguration
- Einfache Integration in benutzerdefinierte Plattformen
- Lange Lebensdauer
Die Intel FPGA AI Suite wurde mit der Vision entwickelt, bei Intel FPGAs anwenderfreundliche Inferenz für künstliche Intelligenz (KI) zu ermöglichen. Die Suite erlaubt es FPGA-Designern, ML-Ingenieuren und Softwareentwicklern, auf effiziente Weise optimierte FPGA-KI-Plattformen zu entwickeln.
Dienstprogramme in der Intel FPGA AI Suite beschleunigen die FPGA-Entwicklung für KI-Inferenz mit bekannten und beliebten Branchen-Frameworks wie TensorFlow oder PyTorch und dem OpenVINO Toolkit. Gleichzeitig unterstützen sie dank der Intel Quartus Prime Software robuste und bewährte FPGA-Entwicklungsabläufe.
Der Tool-Flow der Intel FPGA AI Suite arbeitet mit dem OpenVINO Toolkit, einem Open-Source-Projekt zur Optimierung von Inferenzen in verschiedenen Hardware-Architekturen, zusammen. Das OpenVINO Toolkit nutzt Deep-Learning-Modelle aller wichtigen Deep-Learning-Frameworks (wie TensorFlow, PyTorch, Keras) und optimiert sie für Inferenzen in einer Vielzahl von Hardware-Architekturen, einschließlich verschiedener CPUs, CPU-/GPU-Kombinationen und FPGAs.
Entdecken Sie jetzt, wie die Intel® FPGA AI Suite Embedded-Systeme und Rechenzentren um FPGA-KI erweitern kann. Intel Sales kontaktieren, um Informationen zu Preisen und Verfügbarkeit zu erhalten ›
Jetzt loslegen
Warum FPGAs besonders gut für die Implementierung von KI geeignet sind
In diesem Whitepaper erfahren Sie, wie Intel® FPGAs und SoCs mit der Intel® FPGA AI Suite und dem OpenVINO Toolkit Embedded-/Edge-KI-/ML-Anwendungen unterstützen können.
Whitepaper lesen
Kundenreferenz
„Die einfache Bedienung der Intel® FPGA AI Suite sowie der Intel® Distribution des OpenVINO™ Toolkit haben es Stryker erlaubt, optimiertes Intel® FPGA IP für Deep-Learning-Inferenz zu entwickeln. Das Inferenz IP wurde mit Intel® Quartus® Prime Software erfolgreich in ein Intel® FPGA integriert. Die mit der Suite bereitgestellten Beispieldesigns ermöglichten es dem Team, in kurzer Zeit verschiedene Algorithmen für verschiedene Bildquellen zu bewerten. Mit der Intel® FPGA AI Suite sowie der Intel® Distribution des OpenVINO Toolkit können Datenwissenschaftler und FPGA-Ingenieure nahtlos zusammenarbeiten, um optimierte Deep-Learning-Inferenz für medizinische Anwendungen zu entwickeln.“ – Stryker Engineering Team
Besondere Merkmale
Starke Leistung
Intel Agilex® 7 FPGAs der M-Reihe können eine theoretische Maximalleistung von 38 INT8 TOPS bzw. 3.679 Resnet-50-Bildern pro Sekunde bei einer FPGA-Auslastung von 90 % erreichen.
Einfache Systemintegration
Unterstützt die Integration mit benutzerdefiniertem Intellectual Property wie ADCs/DACs, Video und Ethernet, um einen möglichst geringen Stellplatzbedarf und minimale Latenz zu erreichen.
Niedrige Gesamtbetriebskosten (TCO)
Minimieren Sie die Gesamtbetriebskosten mit hochgradig skalierbarer, individuell anpassbarer und feingranularer KI-Inferenz bei einem breiten Spektrum von Leistungs- und Batch-Größen.
Einfache und Standard Flows
Mit Intel Quartus Prime Software oder Platform Designer können Sie KI-Inferenz-IP erstellen und vorhandenen oder neuen FPGA-Designs hinzufügen.
Unterstützung für KI-Front-Ends
Nutzen Sie Ihr bevorzugtes KI-Front-End wie TensorFlow, Caffe, PyTorch, MXNet, Keras oder ONNX.
OpenVINO-Optimierung
Das OpenVINO Toolkit optimiert die Leistung und Stromversorgung und minimiert gleichzeitig den Logik- und Arbeitsspeicherbedarf.
Entwicklungsablauf für FPGA-KI-Inferenzen
Der Entwicklungsablauf für KI-Inferenzen ist in Abbildung 1 dargestellt. Der Ablauf kombiniert einen Hardware- und Software-Workflow nahtlos zu einem generischen End-to-End-KI-Workflow. Dabei gibt es folgende Schritte:
1. Model Optimizer im OpenVINO Toolkit erstellt Netzwerkdateien mit Zwischendarstellung (.xml) sowie Dateien mit Gewichten und Verzerrungen (.bin).
2. Der Intel FPGA AI Suite Compiler dient der:
- Bereitstellung geschätzter Flächen- oder Leistungskennzahlen für eine bestimmte Architekturdatei oder Erstellung einer optimierten Architekturdatei. (Architektur bezieht sich auf Inferenz-IP-Parameter wie Größe des PE-Array, Präzisionen, Aktivierungsfunktionen, Schnittstellenbreiten, Fenstergrößen usw.)
- Kompilierung von Netzwerkdateien in einer .bin-Datei mit Netzwerkpartitionen für FPGA und CPU (oder beide) sowie mit Gewichten und Verzerrungen.
3. Die kompilierte .bin-Datei wird zur Runtime von der Benutzerinferenzanwendung importiert.
- Zu den Runtime-Anwendungsprogrammierschnittstellen (APIs) gehören Inference Engine API (Runtime-Partitions-CPU und FPGA, Inferenzplanung) und FPGA AI (DDR-Arbeitsspeicher, FPGA-Hardwareblöcke).
- Referenzdesigns zeigen die grundlegenden Operationen beim Importieren von .bin-Dateien und Ausführen von Inferenz in einem FPGA mit unterstützenden Host-CPUs (x86- und ARM-Prozessoren).
Abbildung 1: Entwicklungsablauf der Intel FPGA AI Suite
Hinweise:
Unterstützte Geräte: Intel Agilex® 7 FPGA, Intel® Cyclone® 10 GX FPGA, Intel® Arria® 10 FPGA
Getestete Netzwerk-, Layer- und Aktivierungsfunktionen1:
- ResNet-50, MobileNet v1/v2/v3, YOLO v3, TinyYOLO v3, UNET, i3d
- 2D Conv, 3D Conv, Fully Connected, Softmax, BatchNorm, EltWise Mult, Clamp
- ReLU, PReLU
Architekturen auf Systemebene
Die Intel FPGA AI Suite ist flexibel und für eine Vielzahl von Anwendungsfällen auf Systemebene konfigurierbar. Typische Möglichkeiten zur Integration von FPGA AI Suite IP in ein System sind in Abbildung 2 aufgeführt. Nutzungsszenarien umfassen verschiedene Branchen, von optimierten Embedded-Plattformen, die Anwendungen mit Host-CPUs (Intel® Core™ Prozessoren, ARM-Prozessoren) und Rechenzentrumsumgebungen mit Intel® Xeon® Prozessoren umfassen, bis hin zu Host-losen Anwendungen (oder Softprozessoren wie Nios® V Prozessoren).
Abbildung 2: Typische Systemtopologien der Intel FPGA AI Suite
CPU-Abladung
KI-Beschleuniger
Multifunktions-CPU-Abladung
KI-Beschleuniger + zusätzliche Hardwarefunktion
Ingest/Inline-Verarbeitung + KI
KI-Beschleuniger + Direct Ingest und Daten-Streaming
Eingebettetes SoC FPGA + KI
KI-Beschleuniger + Direct Ingest und Daten-Streaming + Hardwarefunktion +
Eingebettete ARM oder Nios® II oder Nios V Prozessoren
Demo-Videos
Überblick über die Intel FPGA AI Suite
Sehen Sie sich das Video an, um sich mit dem Design-Flow der Intel FPGA AI Suite vertraut zu machen.
Demo-Video zur Installation der Intel® FPGA AI Suite
Die Installation der Intel FPGA AI Suite ist ganz einfach. Sehen Sie sich dieses Video an, um eine Demo zur Installation zu erhalten.
Demo-Video zur Kompilierung der Intel® FPGA AI Suite
Sehen Sie sich eine kurze Demo der Intel FPGA AI Suite an, die ein vortrainiertes ResNet-50-Modell kompiliert und Inferenzergebnisse ausgibt.
Demo-Video zur Installation und Inbetriebnahme des Intel Agilex® FPGA Boards
In diesem kurzen Tutorial erfahren Sie, wie Sie ein Intel Agilex® 7 FPGA für die Verwendung der Intel FPGA AI Suite ganz einfach aufrufen und programmieren können.
PCIe-Design-Beispiel für die Intel® FPGA AI Suite
In diesem Video werden einige der Funktionen der Intel FPGA AI Suite vorgestellt.