Modelloptimierungsablauf mit OpenVINO
Im letzten Absatz des Leitfadens für niedrige Präzisionsoptimierung wird quantisierungsfähiges Training erwähnt. Es heißt, dass dies einem Benutzer die Möglichkeit bietet, ein genaues optimiertes Modell zu erhalten, das in IR konvertiert werden kann. Weitere Einzelheiten werden jedoch nicht angegeben.
Das Quantisierungs-bewusste Training mit OpenVINO™ kompatiblen Schulungs-Frameworks unterstützt Modelle, die auf TensorFlow QAT oder PyTorch NNCF geschrieben wurden, mit Optimierungserweiterungen.
Der NNCF ist ein PyTorch-basiertes Framework, das eine Vielzahl von Deep-Learning-Modellen für verschiedene Anwendungsfälle unterstützt. Es implementiert auch quantisierungsfähiges Training, das verschiedene Quantisierungsmodi und Einstellungen unterstützt, und unterstützt verschiedene Komprimierungsalgorithmen, einschließlich Quantisierung, Binarisierung, Dichte und Filter-Zurückschneiden.
Nach Abschluss der Feinabstimmung kann das genaue optimierte Modell in das ONNX-Format exportiert werden, das dann vom Model Optimizer verwendet werden kann, um IR-Dateien (Intermediate Representation) zu generieren und anschließend mit OpenVINO™ Inferenz-Engine abgeleitet zu werden.
Lesen Sie die folgenden Artikel:
Verbesserte Pipeline mit niedriger Präzision zur Beschleunigung der Inferenz mit OpenVINO Toolkit
Wir stellen ein Training Add-on für OpenVINO™ Toolkit vor: Neural Network Compression Framework