Zusammenfassung
Schneller Schritt, um mehrere Inferenzprozesse an verschiedene CPUs zu binden
Beschreibung
Die Inferenzzeit verdoppelt sich, wenn zwei Prozesse ausgeführt werden, um auf das gleiche Modell zu schließen.
- Verwenden von OpenVINO™, um auf ein Modell zu schließen.
- Die Inferenzzeit beträgt etwa 300 ms, wenn ein einzelner Prozess ausgeführt wird.
- Wenn Sie zwei Prozesse verwenden, beträgt die Inferenzzeit für beide Prozesse 600 ms.
Lösung
- Fügen Sie den folgenden Befehl im main.cpp-Skript hinzu.
ie.SetConfig({ { CONFIG_KEY(CPU_BIND_THREAD), "NO" } }, "CPU")
- Erstellen Sie die Demo.
Weitere Informationen
- Der Standardwert der KEY_CPU_BIND_THREAD Config ist JA.
- Unter Linux* führt dies dazu, dass die beiden Prozesse an den gleichen CPU-Kern gebunden sind und die Inferenzzeit verdoppelt wird.
- Durch Einstellung der KEY_CPU_BIND_THREAD Konfiguration auf NO entbindet die Inferenz-Threads von CPU-Kernen auf Windows* und Linux*.
Weitere Informationen zu den Konfigurationsparametern für das CPU-Plugin finden Sie unter Unterstützte Konfigurationsparameter .