Support-Wissensdatenbank

Die Anzahl der Streams in OpenVINO™ Inferenz kann bei NPU-Geräten nicht auf mehr als einen festgelegt werden

Inhaltstyp: Produktinformationen und Dokumente | Artikel-ID: 000098287 | Letzte Überprüfung: 11.04.2024

Beschreibung Lösung

Beschreibung

Die Anzahl der Streams für das NPU-Gerät in OpenVINO™ Inferenz kann nicht auf mehr als einen festgelegt werden.

Lösung

Die Inferenzausführung über das NPU-Plugin wird vollständig auf das NPU-Gerät ausgelagert, es findet keine Verarbeitung auf der CPU statt.
Die MTL-Firmware unterstützt keine echte HW-Parallelität (parallele Ausführung mehrerer Inferenzen auf verschiedenen Kacheln). Daher erzwingt das NPU-Plugin NPU_STREAMS=1.

Zugehörige Produkte

Dieser Artikel bezieht sich auf 1-Produkte.

OpenVINO™-Toolkit

Disclaimer / Rechtliche Hinweise

Der Inhalt dieser Seite ist eine Kombination aus menschlicher und computerbasierter Übersetzung des originalen, englischsprachigen Inhalts. Dieser Inhalt wird zum besseren Verständnis und nur zur allgemeinen Information bereitgestellt und sollte nicht als vollständig oder fehlerfrei betrachtet werden. Sollte eine Diskrepanz zwischen der englischsprachigen Version dieser Seite und der Übersetzung auftreten, gilt die englische Version. Englische Version dieser Seite anzeigen.

Benötigen Sie weitere Hilfe?

Support kontaktieren