Support-Wissensdatenbank

Llama_chat Python* Demo kann nicht von OpenVINO™ Model Server (OVMS) ausgeführt werden

Inhaltstyp: Fehlermeldungen | Artikel-ID: 000097983 | Letzte Überprüfung: 04.10.2024

Beschreibung Lösung

Beschreibung

Es ist nicht möglich, ein Large Language Model (LLM) wie LLaMa2 von Meta auf OVMS auszuführen.
Beim Ausführen llama_chat Python* Demo aus dem OVMS GitHub*-Repository sind Fehler aufgetreten.

Lösung

Veraltete llama_chat Python* Demo aus dem OVMS GitHub*-Repository.

Erstellen Sie die llm_text_generation Python* Demo , die die neue MediaPipe Python* Rechnerfunktion verwendet, die das Speichern des Lama-Modells erleichtert.

Zugehörige Produkte

Dieser Artikel bezieht sich auf 3-Produkte.

Software für Intel® Xeon Phi™ Prozessor OpenVINO™ toolkit Performance-Bibliotheken

Disclaimer / Rechtliche Hinweise

Der Inhalt dieser Seite ist eine Kombination aus menschlicher und computerbasierter Übersetzung des originalen, englischsprachigen Inhalts. Dieser Inhalt wird zum besseren Verständnis und nur zur allgemeinen Information bereitgestellt und sollte nicht als vollständig oder fehlerfrei betrachtet werden. Sollte eine Diskrepanz zwischen der englischsprachigen Version dieser Seite und der Übersetzung auftreten, gilt die englische Version. Englische Version dieser Seite anzeigen.

Benötigen Sie weitere Hilfe?

Support kontaktieren