Langsamere Inferenzleistung auf Intel® Neural Compute Stick 2 (Intel® NCS2) im Vergleich zur CPU

• Wird Intel® Core™ i7 Prozessor zum Ausführen von benchmark_app.py mit -m model.xml verwendet, wobei zufällige Eingaben generiert werden
• Die Leistung auf NCS2 ist langsamer als auf CPU:

  Für NCS2:
  [ INFO ] First inference took 33.88 ms
  [Step 11/11] Dumping statistics report
  Count: 2596 iterations
  Duration: 60141.63 ms
  Latency: 92.60 ms
  Throughput: 5525.09 FPS

  Für CPU:
  [ INFO ] First inference took 17.07 ms
  [Step 11/11] Dumping statistics report
  Count: 148124 iterations
  Duration: 60001.79 ms
  Latency: 1.61 ms
  Throughput: 315988.43 FPS

Es wird erwartet, dass die Leistung der CPU im Vergleich zu Intel® NCS2 besser ist, da die CPU über mehr Rechenleistung verfügt.

Intel® NCS2 ist ein Beschleunigergerät, das in bestimmten Situationen helfen würde, insbesondere wenn zusätzliche Rechenleistung benötigt wird.

Darüber hinaus erfordert die CPU das FP32-Modellformat, während Intel® NCS2 das FP16-Modellformat benötigt. FP16 kann einen Quantisierungsfehler aufweisen, da es aus einem Modell mit voller Präzision gequetscht wurde, um es kleiner zu machen. Dies würde die Genauigkeit und Leistung beeinträchtigen.

Leistung bedeutet, wie schnell das Modell in der Bereitstellung ist, mit zwei Schlüsselmetriken: Latenz und Durchsatz.

In OpenVINO™ gibt es zwei Ansätze zur Leistungssteigerung:

Während der Entwicklung: Post-Training Optimization Tool (POT), Neural Network Compression Framework (NNCF), Model Optimizer.

Während der Bereitstellung: Abstimmung der Inferenzparameter und Optimierung der Modellausführung.

Es ist möglich, beide Ansätze zu kombinieren.

OpenVINO™ Ergebnisse des Leistungsbenchmarks

Wählen Sie FP16, FP32 oder int8 für Deep-Learning-Modelle

Leitfaden zur Leistungsoptimierung