Konvertierung von INT8-Modellen in Intermediate Representation (IR)
Inhaltstyp: Fehlerbehebung | Artikel-ID: 000058759 | Zuletzt angesehen: 05.03.2026
In der Dokumentation zur Modelloptimierung wird quantisierungsfähiges Training (QAT) erwähnt. Es besagt, dass QAT es einem Benutzer ermöglicht, ein genaues, optimiertes Modell zu erhalten, das in OpenVINO™ Intermediate Representation (IR) konvertiert werden kann. Es werden jedoch keine weiteren Details angegeben. Siehe auch:
Quantization-Aware Training (QAT) mit OpenVINO™-kompatiblen Trainingsframeworks wird durch das Neural Network Compression Framework (NNCF) unterstützt für:
NNCF ist ein Framework, das Modellkomprimierungsmethoden nach dem Training und zur Trainingszeit (einschließlich QAT) bereitstellt und zur Optimierung von Modellen für OpenVINO Inferenz verwendet wird.
Nach Abschluss der QAT-Feinabstimmung kann das optimierte Modell exportiert werden (in der Regel nach ONNX*) und dann für die Bereitstellung in OpenVINO™ IR konvertiert werden.
| Hinweis | Der Übergang zur INT8-Präzision und die entsprechenden Platzbedarfsvorteile erfolgen nach der Konvertierung des Modells in OpenVINO IR. |
Weitere Informationen finden Sie in den folgenden Artikeln:
Verbesserte Low-Precision-Pipeline zur Beschleunigung von Inferenzen mit OpenVINO-Toolkit