Zusammenfassung
Alternative für einfachere OpenVINO™ IR-Inferenzierung auf dynamisch geformten Modellen
Beschreibung
- Arbeitete an der Implementierung des Sammelns von Inferenzen für 1000 Bilder/Iterationen für verschiedene Modelle mit mehreren Batches.
- Erfolgreiche Inferenzierung von benutzerdefiniertem Code für einen einzelnen Batch mit guten Ergebnissen.
- Es konnte keine guten FPS erzielt werden, nachdem der benutzerdefinierte Code in mehrere Batches geändert wurde.
Lösung
- Zum besseren Verständnis der Art und Weise, wie die Form normalerweise vom OpenVINO™ Model Optimizer verwaltet wird. & Einfachheit der dynamischen Modell-IR-Konvertierung wird empfohlen, OpenVINO™ PyPI zu verwenden.
- Konvertierungsbefehl für dynamisch geformtes Modell: mo -m model.onnx -input_shape [-1,3,224,224]
- Inferenzbefehl für dynamisch geformtes Modell: benchmark_app -m model.xml --data_shape [5,3,224,224]
- Wenn die Form des IR-Modells geändert wird, führen Sie das ONNX* Modell einfach erneut mit MO aus. Beachten Sie jedoch, dass die analysierte Form mit der ursprünglichen ONNX* Form übereinstimmen MUSS.
- Jedes Mal, wenn Änderungen am ursprünglichen Modell vorgenommen werden, muss es erneut mit MO ausgeführt werden, um ein IR-Modell zu generieren, das die letzten Änderungen widerspiegelt.