Intel-Distribution® des OpenVINO™ Toolkits

Einleitung

Das Intel® Distribution of OpenVINO™ Toolkit ist eine Open-Source-Lösung zur Optimierung und Bereitstellung von KI-Inferenz in Bereichen wie Computer Vision, automatische Spracherkennung, Verarbeitung natürlicher Sprache, Empfehlungssysteme und mehr. Mit seiner Plug-in-Architektur ermöglicht OpenVINO Entwicklern, einmal zu schreiben und überall einzusetzen. Wir sind stolz darauf, die Veröffentlichung von OpenVINO 2023.0 bekannt zu geben, das eine Reihe neuer Funktionen, Verbesserungen und veralteter Funktionen einführt, die darauf abzielen, die Entwicklererfahrung zu verbessern.

Das OpenVINO™ Toolkit:

• Ermöglicht die Verwendung von Modellen, die mit gängigen Frameworks wie TensorFlow* und PyTorch* trainiert wurden.
• Optimiert die Inferenz von Deep-Learning-Modellen durch Anwenden von Modell-Retraining oder Feinabstimmung, wie z. B. Quantisierung nach dem Training.
• Unterstützt die heterogene Ausführung auf Intel-Hardware unter Verwendung einer gemeinsamen API für die Intel-CPU, Intel Integrated Graphics, Intel Discrete Graphics und andere häufig verwendete Beschleuniger.

Neu und geändert in 2023.0

Zusammenfassung der wichtigsten Funktionen und Verbesserungen

• Mehr Integrationen, Minimierung von Codeänderungen
  • Jetzt können Sie TensorFlow- und TensorFlow Lite-Modelle direkt in die OpenVINO Runtime und den OpenVINO Model Server laden. Modelle werden automatisch konvertiert. Um eine maximale Leistung zu erzielen, wird weiterhin empfohlen, vor dem Laden des Modells in das OpenVINO Intermediate Representation oder IR-Format zu konvertieren. Darüber hinaus haben wir eine ähnliche Funktionalität mit PyTorch-Modellen als Vorschaufunktion eingeführt, mit der Sie PyTorch-Modelle direkt konvertieren können, ohne in ONNX konvertieren zu müssen.
  • Unterstützung für Python* 3.11
  • NEU: C++-Entwickler können jetzt die OpenVINO-Laufzeitumgebung aus Conda-Forge installieren*
  • NEU: Arm*-Prozessoren werden jetzt im CPU-Plug-in unterstützt, einschließlich dynamischer Ausprägungen, voller Prozessorleistung und breiter Beispielcode-/Notebook-Abdeckung. Offiziell validiert für Raspberry Pi* 4 und Apple Mac* M1/M2
  • Vorschau: Eine neue Python-API wurde eingeführt, die es Entwicklern ermöglicht, Modelle direkt aus Python-Skripten zu konvertieren und zu optimieren
• Umfassendere Modellunterstützung und Optimierungen
  • Erweiterte Modellunterstützung für generative KI: CLIP, BLIP, Stable Diffusion 2.0, Textverarbeitungsmodelle, Transformatormodelle (z. B. S-BERT, GPT-J usw.) und andere bemerkenswerte: Detectron2, Paddle Slim, RNN-T, Segment Anything Model (SAM), Whisper und YOLOv8, um nur einige zu nennen.
  • Anfängliche Unterstützung für dynamische Formen auf der GPU - Sie müssen nicht mehr zu statischen Formen wechseln, wenn Sie die GPU nutzen, was besonders für NLP-Modelle wichtig ist.
  • Das Neural Network Compression Framework (NNCF) ist jetzt die Hauptlösung für die Quantisierung. Sie können es sowohl für die Optimierung nach dem Training als auch für quantisierungsbewusstes Training verwenden. Probieren Sie es aus: pip install nncf
• Portabilität und Leistung
  • Das CPU-Plugin bietet jetzt Thread-Planung auf Intel® Core der 12. Generation und höher. Sie können die Inferenz auf E-Cores, P-Cores oder beidem ausführen, abhängig von den Konfigurationen Ihrer Anwendung. Es ist jetzt möglich, je nach Bedarf die Leistung oder die Energieeinsparung zu optimieren.
  • NEU: Standard-Inferenzgenauigkeit - unabhängig davon, welches Gerät Sie verwenden, wird OpenVINO standardmäßig das Format verwenden, das eine optimale Leistung ermöglicht. Zum Beispiel FP16 für GPU oder BF16 für Intel® Xeon® der 4. Generation. Sie müssen das Modell nicht mehr vorher in eine bestimmte IR-Genauigkeit konvertieren, und Sie haben weiterhin die Möglichkeit, bei Bedarf im Genauigkeitsmodus zu arbeiten.
  • Das Modell-Caching auf der GPU wurde jetzt durch effizienteres Laden/Kompilieren von Modellen verbessert.
  • 
    

Systemvoraussetzungen

Haftungsausschluss. Bestimmte Hardware (einschließlich, aber nicht beschränkt auf GPU und GNA) erfordert die manuelle Installation bestimmter Treiber, um ordnungsgemäß zu funktionieren. Treiber erfordern möglicherweise Updates für Ihr Betriebssystem, einschließlich des Linux-Kernels, siehe deren Dokumentation. Betriebssystemaktualisierungen sollten vom Benutzer durchgeführt werden und sind nicht Teil der OpenVINO-Installation. Informationen zu den Systemanforderungen finden Sie im Abschnitt Systemanforderungen in den Versionshinweisen.

Sie können wählen, wie Sie OpenVINO™ Runtime je nach Betriebssystem installieren möchten:

• OpenVINO Runtime unter Linux installieren
• OpenVINO Runtime unter Windows installieren
• OpenVINO Runtime unter macOS installieren

Was ist im Download-Paket enthalten?

• Laufzeit-/Inferenz-Engine

Hilfreiche Links

HINWEIS: Links werden in einem neuen Fenster geöffnet.

• Homepage
• Herunterladen
• Jupyter*-Notebooks
• Vorgestellte Dokumentation
• Alle Dokumentationen, Leitfäden und Ressourcen
• Community-Forum