Was ist das Verhältnis zwischen der Komplexität eines Modells und seinem Inferenzdurchsatz?

Es konnte nicht ermittelt werden, warum das Benchmark-Tool ähnliche Inferenz-FPS für zwei Modelle mit sehr unterschiedlichen Komplexitäten meldet, die durch Giga Floating Point Operations (GFLOPs) definiert werden.

• Eine höhere Anzahl von SSDs ist direkt proportional zu einer reduzierten Anzahl von FPS. Allerdings gibt es keinen fairen Vergleich zwischen den FPS und DEN FPS.
• Faktoren, die sich auf die vom Benchmark-Tool erhaltenen FPS auswirken können:
  • Ausführung im synchronen und synchronen Modus
  • Anzahl der Streams
  • Anzahl der Inferenzanfragen

Intel® NCS2 basiert auf der Intel® Movidius™ Myriad™ X VPU mit 16 programmierbaren Shave-Kernen und einer dedizierten neuralen Compute-Engine. Diese Funktion steigert die Leistung der Netzwerke.