Heterogenes Plugin mit der Intel® Neural Compute Stick 2

Das Heterogene Plugin (HETERO) ermöglicht die Recheninferenz auf einem Netzwerk mit mehreren Geräten. Möglicherweise möchten Sie Netzwerke im heterogenen Modus ausführen, um:

• Nutzen Sie die Leistung von Beschleunigern, einschließlich der Berechnung der schwersten Teile des Netzwerks auf Beschleunigern, und führen Sie nicht unterstützte Ebenen auf Fallback-Geräten wie der CPU aus.
• Nutzen Sie alle verfügbaren Hardware während einer Inferenz effizienter.

Um das heterogene Plugin zu verwenden und mit der Benchmark-Anwendung von OpenVINO Inferenz auf Ihrem Intel® Neural Compute Stick 2™ auszuführen, führen Sie die folgenden Schritte aus:

1. Erstellen Sie die C++ Proben, indem Sie buildsamples.sh (für Linux) oder build_samples_msvc.bat (für Windows) im Verzeichnis inference_engine/samples ausführen.
2. Verwenden Sie die benchmark_app, um das Hetero Plugin mit den Geräten zu testen und zu konfigurieren, die Sie verwenden möchten. Beispiel: Die Ausführung von -d HETERO:GPU,CPU hat der GPU Priorität, während die CPU ein Fallback-Gerät ist.

Weitere Informationen über das heterogene Plugin und das OpenVINO Toolkit.