Artikel-ID: 000095644 Inhaltstyp: Fehlerbehebung Letzte Überprüfung: 24.07.2023

Benchmark_app für ONNX Model on GPU kann nicht ausgeführt werden

Umgebung

OpenVINO 2023.0

BUILT IN - ARTICLE INTRO SECOND COMPONENT
Zusammenfassung

Einschränkung der dynamischen Formunterstützung für GPU

Beschreibung
  • Abgeleitetes ONNX-Modell mit OpenVINO™ 2023.0-Benchmark_app auf CPU und GPU.
  • Inferenz auf CPU erfolgreich, aber auf GPU fehlgeschlagen.
Lösung

Derzeit ist die dynamische Formunterstützung für GPU eine Vorschaufunktion und weist die folgenden Einschränkungen auf:

  • Es unterstützt hauptsächlich Natural Language Processing (NLP)-Modelle. Nicht alle Vorgänge und Optimierungen bestehen und unterstützen dynamische Formen. Infolgedessen kann es bei einem bestimmten Modell zu Abstürzen oder zu erheblichen Leistungseinbußen kommen.
  • Aufgrund des dominanten Laufzeit-Overheads auf dem Hostgerät können dynamische Formen auf einer separaten GPU schlechter abschneiden als statische Ausprägungen.
  • Dynamischer Rang wird nicht unterstützt.
Weitere Informationen

Weitere Informationen finden Sie unter GPU-Gerät .

Zugehörige Produkte

Dieser Artikel bezieht sich auf 1 Produkte

OpenVINO™-Toolkit

Benötigen Sie weitere Hilfe?

Support kontaktieren

Disclaimer/Rechtliche Hinweise

1

Alle Posts und die Nutzung der Inhalte auf dieser Website unterliegen den Intel.com Nutzungsbedingungen.

Der Inhalt dieser Seite ist eine Kombination aus menschlicher und computerbasierter Übersetzung des originalen, englischsprachigen Inhalts. Dieser Inhalt wird zum besseren Verständnis und nur zur allgemeinen Information bereitgestellt und sollte nicht als vollständig oder fehlerfrei betrachtet werden. Sollte eine Diskrepanz zwischen der englischsprachigen Version dieser Seite und der Übersetzung auftreten, gilt die englische Version. Englische Version dieser Seite anzeigen.