Intel® Distribution des OpenVINO™-Toolkits

Was gibt es Neues?

• Mehr Gen KI-Abdeckung und Framework-Integrationen zur Minimierung von Codeänderungen.
  • Neue Modelle, die auf CPUs und GPUs unterstützt werden: Phi-4, Mistral-7B-Instruct-v0.3, SD-XL Inpainting 0.1, Stable Diffusion 3.5 Large Turbo, Phi-4-Reasoning, Qwen3 und Qwen2.5-VL-3B-Instruct. Mistral 7B Instruct v0.3 wird auch auf NPUs unterstützt.
  • Vorschau: OpenVINO™ GenAI führt eine Text-to-Speech-Pipeline für das SpeechT5 TTS-Modell ein, während das neue RAG-Backend Entwicklern eine vereinfachte API bietet, die eine reduzierte Speichernutzung und eine verbesserte Leistung bietet.
  • Vorschau: OpenVINO™ GenAI bietet einen GGUF Reader für die nahtlose Integration von llama.cpp-basierten LLMs mit Python- und C++-Pipelines, die GGUF-Modelle laden, OpenVINO Graphen erstellen und GPU-Inferenz on-the-fly ausführen. Validiert für gängige Modelle: DeepSeek-R1-Distill-Qwen (1.5B, 7B), Qwen2.5 Instruct (1.5B, 3B, 7B) & llama-3.2 Instruct (1B, 3B, 8B).
• Breitere LLM-Modellunterstützung und mehr Modellkomprimierungstechniken.
  • Weitere Optimierung von LoRA-Adaptern in OpenVINO GenAI für verbesserte Leistung von LLM-, VLM- und Text-zu-Bild-Modellen auf integrierten GPUs. Entwickler können LoRA-Adapter verwenden, um Modelle für spezielle Aufgaben schnell anzupassen.
  • Die KV-Cache-Komprimierung für CPUs ist bei INT8 standardmäßig aktiviert, was im Vergleich zu FP16 den Speicherbedarf reduziert und gleichzeitig die Genauigkeit beibehält. Darüber hinaus bietet es erhebliche Speichereinsparungen für LLMs mit INT4-Unterstützung im Vergleich zu INT8.
  • Optimierungen für die integrierten GPUs der Intel® Core™ Ultra Prozessorreihe 2 und die Grafik der Intel® Arc™ B-Serie mit der systolischen® Intel XMX-Plattform zur Verbesserung der Leistung von VLM-Modellen und hybriden quantisierten Bilderzeugungsmodellen sowie zur Verbesserung der First-Token-Latenz für LLMs durch dynamische Quantisierung.
• Mehr Portabilität und Leistung, um KI am Netzwerkrand, in der Cloud oder lokal auszuführen.
  • Verbesserte Linux* Unterstützung mit dem neuesten GPU-Treiber für integrierte GPUs auf Intel® Core™ Ultra Prozessorreihe 2 (früherer Codename Arrow Lake H).
  • OpenVINO™ Model Server bietet jetzt eine optimierte C++-Version für Windows und ermöglicht eine verbesserte Leistung für Modelle mit langem Kontext durch Präfix-Caching und ein kleineres Windows-Paket, das die Python-Abhängigkeit beseitigt. Unterstützung für Hugging Face-Modelle ist jetzt enthalten.
  • Unterstützung für die datenfreie INT4-Gewichtungskompression für ONNX-Modelle, die im Neural Network Compression Framework (NNCF) implementiert sind.
  • Die NPU-Unterstützung für FP16-NF4-Präzision bei Intel® Core™ Prozessoren der 200-V-Serie für Modelle mit bis zu 8 B-Parametern wird durch symmetrische und kanalweise Quantisierung ermöglicht, was die Genauigkeit verbessert und gleichzeitig die Leistungseffizienz beibehält.

Holen Sie sich alle Details. Siehe Versionshinweise 2025.2.

Einbauanleitung

Sie können je nach Betriebssystem wählen, wie Sie OpenVINO™ Runtime aus Archive* installieren möchten:

• Installation von OpenVINO™ Runtime unter Linux*
• Installation von OpenVINO™ Runtime unter Windows*
• Installation von OpenVINO™ Runtime unter macOS*

Inhalt des Download-Pakets (Archivdatei)

• Bietet sowohl C/C++- als auch Python-APIs
• Enthält zusätzlich Codebeispiele

Hilfreiche Links

ANMERKUNG: Links werden in einem neuen Fenster geöffnet.

• Homepage
• Herunterladen
• Alle Dokumente, Leitfäden und Ressourcen
• OpenVINO Notebooks
• Versionshinweise
• Community-Forum
• Problem auf GitHub melden*