Wie ist der Zusammenhang zwischen der Komplexität eines Modells und seinem Inferenzdurchsatz?

Es konnte nicht festgestellt werden, warum das Benchmark-Tool ähnliche Inferenz-FPS für zwei Modelle mit sehr unterschiedlicher Komplexität meldet, die durch Giga Floating Point Operations (GFLOPs) definiert wird.

• Eine höhere Anzahl von FLOPs ist direkt proportional zu einer reduzierten Anzahl von FPS. Es gibt jedoch keinen fairen Vergleich zwischen FPS und FLOPs.
• Faktoren, die die vom Benchmark-Tool erhaltenen FPS beeinflussen können:
  • Im synchronen und asynchronen Modus ausführen
  • Anzahl der Streams
  • Anzahl der Inferenzanfragen