Artikel-ID: 000089522 Inhaltstyp: Wartung und Leistung Letzte Überprüfung: 20.11.2023

Langsamere Inferenzleistung auf Intel® Neural Compute Stick 2 (Intel® NCS2) im Vergleich zur CPU

BUILT IN - ARTICLE INTRO SECOND COMPONENT
Zusammenfassung

CPU hat mehr Rechenleistung als Intel® NCS2 daher wird erwartet, dass sie schneller läuft, wenn das gleiche Modell inferenziert wird.

Beschreibung
  • Wird Intel® Core™ i7 Prozessor zum Ausführen von benchmark_app.py mit -m model.xml verwendet, wobei zufällige Eingaben generiert werden
  • Die Leistung auf NCS2 ist langsamer als auf CPU:

    Für NCS2:
    [ INFO ] First inference took 33.88 ms
    [Step 11/11] Dumping statistics report
    Count: 2596 iterations
    Duration: 60141.63 ms
    Latency: 92.60 ms
    Throughput: 5525.09 FPS

    Für CPU:
    [ INFO ] First inference took 17.07 ms
    [Step 11/11] Dumping statistics report
    Count: 148124 iterations
    Duration: 60001.79 ms
    Latency: 1.61 ms
    Throughput: 315988.43 FPS

Lösung

Es wird erwartet, dass die Leistung der CPU im Vergleich zu Intel® NCS2 besser ist, da die CPU über mehr Rechenleistung verfügt.

Intel® NCS2 ist ein Beschleunigergerät, das in bestimmten Situationen helfen würde, insbesondere wenn zusätzliche Rechenleistung benötigt wird.

Darüber hinaus erfordert die CPU das FP32-Modellformat, während Intel® NCS2 das FP16-Modellformat benötigt. FP16 kann einen Quantisierungsfehler aufweisen, da es aus einem Modell mit voller Präzision gequetscht wurde, um es kleiner zu machen. Dies würde die Genauigkeit und Leistung beeinträchtigen.

Leistung bedeutet, wie schnell das Modell in der Bereitstellung ist, mit zwei Schlüsselmetriken: Latenz und Durchsatz.

In OpenVINO™ gibt es zwei Ansätze zur Leistungssteigerung:

Während der Entwicklung: Post-Training Optimization Tool (POT), Neural Network Compression Framework (NNCF), Model Optimizer.

Während der Bereitstellung: Abstimmung der Inferenzparameter und Optimierung der Modellausführung.

Es ist möglich, beide Ansätze zu kombinieren.

Zugehörige Produkte

Dieser Artikel bezieht sich auf 2 Produkte

Der Inhalt dieser Seite ist eine Kombination aus menschlicher und computerbasierter Übersetzung des originalen, englischsprachigen Inhalts. Dieser Inhalt wird zum besseren Verständnis und nur zur allgemeinen Information bereitgestellt und sollte nicht als vollständig oder fehlerfrei betrachtet werden. Sollte eine Diskrepanz zwischen der englischsprachigen Version dieser Seite und der Übersetzung auftreten, gilt die englische Version. Englische Version dieser Seite anzeigen.