Support-Wissensdatenbank

Benchmark_app für ONNX Model on GPU kann nicht ausgeführt werden

Inhaltstyp: Fehlerbehebung | Artikel-ID: 000095644 | Letzte Überprüfung: 24.07.2023

Beschreibung Lösung Weitere Informationen

Umgebung

OpenVINO 2023.0

Beschreibung

Abgeleitetes ONNX-Modell mit OpenVINO™ 2023.0-Benchmark_app auf CPU und GPU.
Inferenz auf CPU erfolgreich, aber auf GPU fehlgeschlagen.

Lösung

Derzeit ist die dynamische Formunterstützung für GPU eine Vorschaufunktion und weist die folgenden Einschränkungen auf:

Es unterstützt hauptsächlich Natural Language Processing (NLP)-Modelle. Nicht alle Vorgänge und Optimierungen bestehen und unterstützen dynamische Formen. Infolgedessen kann es bei einem bestimmten Modell zu Abstürzen oder zu erheblichen Leistungseinbußen kommen.
Aufgrund des dominanten Laufzeit-Overheads auf dem Hostgerät können dynamische Formen auf einer separaten GPU schlechter abschneiden als statische Ausprägungen.
Dynamischer Rang wird nicht unterstützt.

Weitere Informationen

Weitere Informationen finden Sie unter GPU-Gerät .

Zugehörige Produkte

Dieser Artikel bezieht sich auf 3-Produkte.

Software für Intel® Xeon Phi™ Prozessor OpenVINO™ toolkit Performance-Bibliotheken

Disclaimer / Rechtliche Hinweise

Der Inhalt dieser Seite ist eine Kombination aus menschlicher und computerbasierter Übersetzung des originalen, englischsprachigen Inhalts. Dieser Inhalt wird zum besseren Verständnis und nur zur allgemeinen Information bereitgestellt und sollte nicht als vollständig oder fehlerfrei betrachtet werden. Sollte eine Diskrepanz zwischen der englischsprachigen Version dieser Seite und der Übersetzung auftreten, gilt die englische Version. Englische Version dieser Seite anzeigen.

Benötigen Sie weitere Hilfe?

Support kontaktieren