Das Laden eines Modells auf die Vision Processing Unit (VPU) kann länger dauern als das Laden auf die CPU

• Die Zeit für das Laden eines Modells in die Vision Processing Unit (VPU) ist länger als das Laden des Modells auf die CPU.
• Code mit Python-API: net = ie.read_network(model=path_to_xml, weights=path_to_bin) exec_net = ie.load_network(network=net, device_name="CPU") res = exec_net.infer(inputs=data)

Um die Ladezeit zu verkürzen, laden Sie das Modell aus Blob, einem analysierten Graphen, um die Phase der Modellanalyse zu umgehen.

1. Generieren Sie die Blob-Datei vor dem Laden mit einer der folgenden Methoden:
   • Generieren Sie das Blob mithilfe des myriad_compile Tools in der Befehlszeile:
     1. Das vorkompilierte Tool steht im Intel® Distribution des OpenVINO™ Toolkit zur Verfügung. Sie können das Open-Source-OpenVINO-Toolkit-Repository auch klonen und erstellen.
     2. Generieren Blob.
        Führen Sie im Pfad inference-engine/bin/intel64/Release einen Befehl wie folgt aus: ./myriad_compile -m <model_name>.xml -o <output filename>
2. Importieren Sie das Blob in Ihrem Code mithilfe der Inference Engine Core-API: executable_network = ie.ImportNetwork(“model_name.blob”, device, config)

Beim Laden eines Modells auf die VPU gibt es zwei interne Prozesse:

1. Parse-Diagramm
2. Diagramm zuordnen

Während des Ladevorgangs werden die analysierten VPU-Diagramme Stufe für Stufe per xlink vom Host an die Hardware gesendet.

Das Laden eines Modells aus einem Blob kann bei einigen Modellen viel Zeit sparen, aber es funktioniert möglicherweise nicht für alle Modelle.

Neben der Modellgröße hängt die Ladezeit vom Ebenentyp, der Größe der Eingabedaten usw. ab.

Das HDDL-Plugin ist beim Laden des Modells aus Blob effizienter als das MYRIAD-Plugin .

Führen Sie die folgenden Schritte aus, um das HDDL-Plugin anstelle des MYRIAD-Plugins auf dem Intel® Neural Compute Stick 2 zu aktivieren:

1. Set autoboot_settings:abort_if_hw_reset_failed to false in $HDDL_INSTALL_DIR/config/hddl_autoboot.config.
2. Set autoboot_settings:total_device_num to 1.
3. Starten Sie hddldaemon.