FPGA KI Suite
Die FPGA AI Suite erlaubt es FPGA-Designern, ML-Ingenieuren und Softwareentwicklern, auf effiziente Weise optimierte FPGA-KI-Plattformen zu entwickeln. Dienstprogramme in der Suite beschleunigen die FPGA-Entwicklung für KI-Inferenz mit vertrauten und beliebten Branchen-Frameworks wie TensorFlow oder PyTorch und OpenVINO Toolkit, während sie gleichzeitig robuste und bewährte FPGA-Entwicklungsabläufe mit der Quartus Prime Software nutzen.
Vorteile
Starke Leistung
Agilex™ 7 FPGA M-Reihe kann eine maximale theoretische Leistung von 88,5 INT8 TOPS oder 3.679 ResNet-50 Bildern pro Sekunde bei 90 % FPGA Nutzung erreichen.1
Niedrige Gesamtbetriebskosten mit einfacher Systemintegration
Integrieren Sie KI-IP in andere Komponenten auf Systemebene, um einen kleineren Platzbedarf, einen geringeren Energieverbrauch und geringere Latenz zu erzielen.
Unterstützung für KI-Front-Ends
Nutzen Sie Ihr bevorzugtes KI-Front-End wie TensorFlow, Caffe, PyTorch, MXNet, Keras oder ONNX.
Einfache und Standard Flows
Mit Quartus Prime Software oder Platform Designer können Sie KI-Inferenz-IP erstellen und vorhandenen oder neuen FPGA-Designs hinzufügen.
Zugriff auf vortrainierte Modelle
FPGA AI Suite unterstützt die meisten Modelle in Open Model Zoo.
Nahtlose vortrainierte Modellkonvertierung
OpenVINO Toolkit konvertiert Modelle von den meisten Standard-Frameworks in Zwischendarstellungen.
Durch Druckknopf optimierte KI-IP-Generation
FPGA AI Suite generiert nahtlos optimales KI-Inferenz-IP aus einem vortrainierten KI-Modell, das den Designraum abtastet, um optimale Ressourcen bis hin zu Leistungszielen zu erhalten.
Frühe Modellvalidierung ohne Hardware
Bit-genau2 Die Software-Emulation der KI-Inferenz-IP ist über die OpenVINO-Plugin-Schnittstelle verfügbar, was eine schnellere Bewertung der Genauigkeit des Modells ohne Hardware ermöglicht.
Entwicklungsablauf für FPGA-KI-Inferenzen
Der Entwicklungsablauf kombiniert einen Hardware- und Software-Workflow nahtlos zu einem generischen End-to-End-KI-Workflow. Dabei gibt es folgende Schritte:
1. OpenVINO Model Optimizer konvertiert Ihr vortrainiertes Modell in Netzwerkdateien für Zwischenrepräsentation (.xml) und Dateien mit Gewichten und Biases (.bin).
2. Der FPGA AI Suite-Compiler dient der:
- Bereitstellung geschätzter Flächen- oder Leistungskennzahlen für eine bestimmte Architekturdatei oder Erstellung einer optimierten Architekturdatei. (Architektur bezieht sich auf Inferenz-IP-Parameter wie Größe des PE-Array, Präzisionen, Aktivierungsfunktionen, Schnittstellenbreiten, Fenstergrößen usw.)
- Kompilierung von Netzwerkdateien in einer .bin-Datei mit Netzwerkpartitionen für FPGA und CPU (oder beide) sowie mit Gewichten und Verzerrungen.
3. Die kompilierte .bin-Datei wird zur Runtime von der Benutzerinferenzanwendung importiert.
- Zu den Runtime-Anwendungsprogrammierschnittstellen (APIs) gehören Inference Engine API (Runtime-Partitions-CPU und FPGA, Inferenzplanung) und FPGA AI (DDR-Arbeitsspeicher, FPGA-Hardwareblöcke).
4. Referenzdesigns sind verfügbar, um die grundlegenden Operationen des Imports von .bin und der Ausführung von Inferenz auf FPGA mit unterstützenden Host-CPUs (x86- und ARM-Prozessoren) sowie hostlosen Inferenzoperationen zu demonstrieren.
5. Software-Emulationder FPGA AI Suite IP ist über die OpenVINO-Plugin-Schnittstelle zugänglich, die eine schnellere Bewertung der Genauigkeit FPGA KI-IP ohne Zugriff auf Hardware ermöglicht (nur für Agilex™ 5 FPGA verfügbar).
Hinweise:
Unterstützte Geräte: Agilex™ 5 FPGA, Agilex™ 7 FPGA, Cyclone® 10 GX FPGA, Arria® 10 FPGA
Getestete Netzwerke, Schichten und Aktivierungsfunktionen3:
- ResNet-50, MobileNet v1/v2/v3, YOLO v3, TinyYOLO v3, UNET, i3d
- 2D Conv, 3D Conv, Fully Connected, Softmax, BatchNorm, EltWise Mult, Clamp
- ReLU, PReLU, Tanh, Swish, Sigmoid, Reziprok
Architekturen auf Systemebene
Die FPGA AI Suite ist flexibel und für eine Vielzahl von Anwendungsfällen auf Systemebene konfigurierbar. Abbildung 1. listet die typischen Möglichkeiten zur Integration der FPGA AI Suite IP in ein System auf. Die Anwendungsfälle umfassen verschiedene Vertikale, von optimierten eingebetten -Plattformen über Anwendungen mit Host-CPUs (Intel® Core™ Prozessoren, ARM-Prozessoren) bis hin zu Rechenzentrumsumgebungen mit Intel® Xeon® Prozessoren. Sie unterstützt Hostless-Designs und Soft-Prozessoren wie die Nios® V Prozessoren.
Abbildung 1: Typische Intel FPGA AI Suite Systemtopologien
CPU-Abladung
KI-Beschleuniger
Multifunktions-CPU-Abladung
KI-Beschleuniger + zusätzliche Hardwarefunktion
Ingest/Inline-Verarbeitung + KI
KI-Beschleuniger + Direct Ingest und Daten-Streaming
Eingebettetes SoC FPGA + KI
KI-Beschleuniger + Direct Ingest und Daten-Streaming + Hardwarefunktion +
Eingebettete ARM oder Nios® V Prozessoren
FPGA KI-Design Guided Journey
Entdecken Sie die FPGA KI-Design-geleitete Reise, die Schritt-für-Schritt-Anleitung für die Entwicklung von KI-Designs an geistigem Eigentum (IP) bietet.
Beginnen Sie gleich mit dem Design
Erfahren Sie mehr über FPGAi
Durchsuchen Sie die FPGAi-Ressourcen, Whitepapers und Erfolgsgeschichten
Weitere Infos
Warum sind FPGAs besonders gut für die Implementierung von KI geeignet?
Lesen Sie über neue Anwendungsfälle für FPGA-basierte KI-Inferenz am Edge und über benutzerdefinierte KI-Anwendungen sowie Software- und Hardwarelösungen für Edge FPGA KI.
Whitepaper lesen
Integration und Bereitstellung von KI-Modellen im Operationssaal
VITEC nutzt FPGA AI Suite für die Zusammenarbeit an KI-Modellen für den medizinischen Einsatz
Praxisbeispiel lesen
Produkt- und Leistungsangaben
Die Leistung variiert je nach Verwendung, Konfiguration und anderen Faktoren. Erfahren Sie mehr unter www.Intel.com/PerformanceIndex.
Die Leistungsergebnisse beruhen auf Tests mit Stand der angegebenen Konfiguration und spiegelt möglicherweise nicht alle öffentlich erhältlichen Updates wider. Weitere Konfigurationsdetails siehe Backup. Kein Produkt und keine Komponente bieten absolute Sicherheit.
Ihre Kosten und Ergebnisse können variieren.
Geringe Rundungsunterschiede zwischen Software-Emulation und Hardware führen in der Regel zu Unterschieden von weniger als zwei Einheiten der geringsten Präzision (units of least precision, ULPs).