OpenVINO™ Inferenzzeit erhöht sich, wenn mehrere Prozesse ausgeführt werden

Die Inferenzzeit verdoppelt sich, wenn zwei Prozesse ausgeführt werden, um auf das gleiche Modell zu schließen.

• Verwenden von OpenVINO™, um auf ein Modell zu schließen.
• Die Inferenzzeit beträgt etwa 300 ms, wenn ein einzelner Prozess ausgeführt wird.
• Wenn Sie zwei Prozesse verwenden, beträgt die Inferenzzeit für beide Prozesse 600 ms.

1. Fügen Sie den folgenden Befehl im main.cpp-Skript hinzu.

   ie.SetConfig({ { CONFIG_KEY(CPU_BIND_THREAD), "NO" } }, "CPU")

2. Erstellen Sie die Demo.

• Der Standardwert der KEY_CPU_BIND_THREAD Config ist JA.
• Unter Linux* führt dies dazu, dass die beiden Prozesse an den gleichen CPU-Kern gebunden sind und die Inferenzzeit verdoppelt wird.
• Durch Einstellung der KEY_CPU_BIND_THREAD Konfiguration auf NO entbindet die Inferenz-Threads von CPU-Kernen auf Windows* und Linux*.

Weitere Informationen zu den Konfigurationsparametern für das CPU-Plugin finden Sie unter Unterstützte Konfigurationsparameter .