Warum wirkt sich die Anwendung verschiedener Gewichte auf ein Modell auf die Inferenzleistung aus?

1. Generieren Sie zwei IR-Dateien (identische .xml-Datei , aber verschiedene .bin-Dateien )
2. Ein ähnliches Modell mit unterschiedlichen Gewichten läuft mit verschiedenen fps (27 fps und 6 fps)
3. Beeinflussen Gewichte, die unterschiedlicher sind, die Inferenzleistung bei Myriad X?

Modellgewichte und Präzision (FP32, FP16, INT8) beeinflussen die Inferenzleistung.

Die Verwendung des FP32-Formats würde zur vollständigen Gewichtsverteilung führen und wird als Single Precision Floating Point bezeichnet.

Inzwischen sind FP16- und INT8-Formate beide komprimierte Gewichtsformate, wo sie verkleinert werden. Der Kompromiss für diese Komprimierungen ist die Genauigkeit des Modells oder auch als Quantisierungsfehler bekannt.

Je mehr Bits für die Darstellung von Daten zugewiesen werden, desto größer ist der Bereich, den sie darstellen könnten, und möglicherweise die bessere Genauigkeit des Modells. Größere Daten erfordern jedoch größeren Speicherplatz für seinen Datenspeicher, eine höhere Speicherbandbreite, die für die Übertragung benötigt wird, und mehr Rechenressourcen und zeitaufgebrauchte Zeit.

Die Intel® Distribution des OpenVINO™ Toolkit Benchmarkergebnisse zeigen offensichtliche Unterschiede in der Leistung zwischen verschiedenen Gewichtsformaten oder der Präzision.

INT8- und FP32-Vergleich auf ausgewählten Netzwerken und Plattformen

Wählen Sie FP16, FP32 oder INT8 für das Deep-Learning-Modell.