So erstellen Sie eine Heatmap mit OpenVINO™

Können Techniken zur Heatmap-Generierung wie layerweise Relevanzpropagation oder Grad-CAM mit OpenVINO™ implementiert werden?

Heatmaps können verwendet werden, um den Entscheidungsprozess von neuronalen Netzen zu visualisieren.

Um Heatmaps in OpenVINO™ zu generieren, ist es notwendig:

1. Greifen Sie auf die Ausgabe-Feature-Maps des Zielfaltungs-Layers und die entsprechenden Gewichte zu.

   Hinweis

   Dies kann durch den Funktionsaufruf model.add_outputs() bei der Initialisierung des Netzwerks in OpenVINO™ 2.0+ API erfolgen (ersetzt das veraltete CNNNetwork: addOutput()).

2. Berechnen Sie nach dem Ausführen der Inferenz die gewichtete Summe der Gewichte mit den Feature-Maps, um die Klassenaktivierungszuordnung zu generieren.

3. Berechnen Sie für die Grad-CAM-Implementierung die Farbverläufe der Zielklasse in Bezug auf die Feature-Maps und multiplizieren Sie dann die Gradienten mit den Feature-Maps.

4. Anwenden ReLU-Aktivierung, um negative Werte zu entfernen und die resultierende Heatmap zu normalisieren .

5. Ändern Sie die Größe der Heatmap so, dass sie den Abmessungen des Eingangsbildes entspricht, und legen Sie sie zur Visualisierung über das Originalbild.

Zusätzliche Schritte:

• Verwenden Sie model.get_ops() , um verfügbare Layer-Namen zu identifizieren.
• Wenden Sie Farbzuordnungen (z. B. cv2.COLORMAP_JET) für eine bessere Visualisierung an.
• Normalisieren Sie Heatmap-Werte zwischen 0 und 1 vor der Visualisierung.