OpenVINO™ Inferenzzeit erhöht sich, wenn mehrere Prozesse ausgeführt werden

Die Inferenzzeit verdoppelt sich, wenn zwei Prozesse ausgeführt werden, um dasselbe Modell abzuleiten.

• Verwenden von OpenVINO™ zum Ableiten eines Modells.
• Die Inferenzzeit beträgt ca. 300 ms, wenn ein einzelner Prozess ausgeführt wird.
• Bei Verwendung von zwei Prozessen beträgt die Inferenzzeit für beide Prozesse 600 ms.

1. Fügen Sie Ihrer Anwendung die folgende Konfiguration hinzu.
   Python*: core.set_property("CPU", {ov.properties.hint.enable_cpu_pinning(False)})
   C++ : core.set_property("CPU", ov::hint::enable_cpu_pinning(false));
2. Erstellen Sie die Demo.

• Der Standardwert von enable_cpu_pinning property is enabled (true or YES) on Linux* and disabled (false or NO) on Windows* and macOS*.
• Unter Linux ist die Standardeinstellung von enable_cpu_pinning is enabled, which in some scenarios can cause multiple processes to bind to the same CPU core, potentially doubling inference time.
• Festlegen der Eigenschaft auf false unbinds inferencing threads from specific CPU cores, allowing the operating system to schedule threads, which may be beneficial in applications with several parallel workloads.

Weitere Informationen finden Sie unter Leistungshinweise und Thread-Planung .