NASAs GMAO verhilft NASA zu weiteren Höhenflügen

Discover-Cluster wird hochauflösende Wettervorhersagen und Klimasimulation und -modellierung ermöglichen.

Auf einen Blick:

  • Das Global Modeling and Assimilation Office (GMAO) der NASA analysiert Wetter- und Klimadaten auf zahlreichen Observierungssystemen, um NASA-Missionen zu unterstützen.

  • Die letzte Neuerung des Discover-HPC-System Goddard Space Flight Center der NASA ist ein Cluster aus Prozessoren der skalierbaren Intel® Xeon® Prozessorreihe und Cornelis Networks Fabric1. Der Cluster bietet dem GMAO die Voraussetzungen, ihre Mission, nämlich die NASA – und andere Agenturen und Forscher – bei ihrer Arbeit rund um die Erde und oberhalb der Erde zu intensivieren.

author-image

Von

Kurzübersicht:

Das Global Modeling and Assimilation Office (GMAO) der NASA befindet sich im Goddard Space Flight Center in Greenbelt im US-Bundesstaat Maryland. Die Mission des GMAO besteht darin, „den Effekt von Satellitenbeobachtungen auf Analysen und Vorhersagen, die sich auf die Atmosphäre, Ozeane, Landmassen und die Kryosphäre beziehen, zu maximieren.“ Eine der Aktivitäten des GMAO ist die Nutzung der Daten aus über 5.000.000 Beobachtungen, die kontinuierlich im Abstand von jeweils sechs Stunden für Wettervorsagen und Klimamodelle weltweit erfasst werden, teilweise mit einer Auflösung von gerade einmal 1,5 km2. Die Oberfläche der Erde überstreckt sich über 510.007.000 km2, wobei der Anteil der Wasserfläche 70,8% und der Anteil der Landfläche 29,2% beträgt. Wettervorhersagen und Klimamodelle, die für derart große Ausmaße erfolgen, benötigen eine Menge Rechenleistung, welche vom Computational and Information Sciences and Technology Office (CISTO) bei NASA Goddard bereitgestellt wird.

Herausforderung

„Wir unterstützen eine Reihe von Missionen und Feldkampagnen der NASA mit Wettervorhersagen und anderen Atmosphären- und Klimaforschungsanalysen, von denen einige von anderen Organisationen verwendet werden", erklärte Dr. Bill Putman, ein GMAO-Forscher.

Die GMAO-Produkte umfassen ein breites Datenspektrum, zum Beispiel:

  • Kurzfristige numerische Wettervorhersagen (Tage bis zu einer Woche) zur Unterstützung von Aktivitäten wie Satellitenmissionen und NASA-Forschungsflugzeuge, die einer bestimmten Flugroute folgen, um Proben für Aerosol- und chemische Studien für NASA-Feldkampagnen zu nehmen
  • Längerfristige, saisonale Vorhersagen (Wochen bis Monate), häufig in Zusammenarbeit mit anderen Agenturen wie der NOAA (National Oceanographic and Atmospheric Administration), der Wetter- und Ozeanografie­behörde der Vereinigten Staaten
  • Andere große Gemeinschaftsprojekte mit nationalen und internationalen Organisationen
  • Erneute Analysen sehr langfristiger Klima- und Atmosphärenbedingungen (Jahre bis Jahrzehnte) und Veröffentlichung von Daten als globale Klimareferenzwerte, die von anderen Forschern verwendet werden könnten

„Es gibt nur wenige Zentren weltweit“, fügte Putman hinzu, „die diese Typen hochwertiger Neuanalysen erste„Es Sie werden zu äußerst seriösen Datenmengen lassen sich landes- und weltweit nutzbringend für Dienste einsetzen.“

Die kurzfristigen Wettervorhersagen des GMAO basieren auf dem „Goddard Earth Observing System“-Modell (GEOS) der NASA, das viermal täglich läuft. Die Analyse kombiniert alle sechs Stunden über 5.000.000.000 Beobachtungen, die von Satelliten, Wetterballons und Sensoren an Land, in Flugzeugen, auf Schiffen und auf Ozeanbojen rund um den Globus stammen. Längerfristige Vorhersagen basieren auf saisonalen Kollektivprognosen, die eine Vielzahl von möglichen Ergebnissen über Wochen bis Monate abdecken. Darüber hinaus unterstützt das GMAO Computerforschung und -entwicklung, die später häufig in neuen Datenprodukten oder verbesserten Produktionssystemen resultiert.

Das Discover-System bei NASA Goddard ist ein Supercomputing-Cluster, der auf Intel® Prozessoren basiert und aus mehreren Scalable Compute Units (SCUs) besteht. (Foto mit freundlicher Genehmigung der NASA)

Um die vom GMAO benötigte Rechenleistung bereitzustellen, implementiert das NASA Center for Climate Simulation (NCCS) im Computational and Information Sciences and Technology Office (CISTO) leistungsstarke Supercomputing-Cluster. Das aktuelle System, genannt Discover, ist eine Weiterentwicklung über mehrere Jahre, in denen das System skaliert wurde, um die Rechenanforderungen des GMAO (und anderer Abteilungen) zu erfüllen.

Lösung

„Jedes Jahr rüsten wir einen Teil des Clusters auf“, so Dan Duffy, CISTO Chief. „Unser aktueller Cluster, der über 103.000 Kerne verfügt, liefert über über 5 PetaFLOPs Spitzenkapazität. Er unterstützt das GMAO, das Goddard Institute for Space Studies (GISS), mehrere Feldkampagnen und andere wissenschaftliche NASA-Forschungsbereiche. Mit dem neuesten Intel Upgrade werden wir über 129.000 Kerne mit einer Spitzenkapazität von 6,7 PetaFLOPs erreichen.2

Das Discover-System ist ein Supercomputing-Cluster, der auf Intel® Prozessoren basiert und aus mehreren Scalable Compute Units (SCUs) besteht. Es ist für Atmosphäre- und Ozeansimulationen mit feiner Skalierung und hoher Präzision ausgelegt, die je nach Anwendung (Wettervorhersage, Atmosphären- und Klimamodellierung, Kollektivprognosen usw.) zwischen Tagen und Jahrzehnten oder Jahrhunderten dauern.

Im Laufe der Jahre kaufte die NASA Scalable Compute Units von verschiedenen Anbietern, darunter Dell, IBM und SGI. Das neueste SCU besteht aus 640 Supermicro-FatTwin*-Knoten mit zwei Intel® Xeon® Gold 6148 Prozessoren pro Knoten, die über Cornelis Networks Fabric verbunden sind. Das neueste SCU liefert 1,86 PetaFLOPs an zusätzlicher Spitzenrechenkapazität.

Duffy zufolge ist Discover in drei Computing-Inseln partitioniert, mit einem Maximum von rund 46.000 Kernen, die nach dem letzten Upgrade für eine beliebige Aufgabe zur Verfügung stehen.

Ergebnis

Heute bilden globale kurzfristige Vorhersagemodelle, die alle sechs Stunden laufen, die Erde mit einer Auflösung von 12 km2 ab. Hierfür sind Berechnungen für 42.506.000 Gitterzellen mit Eingabedaten zur Temperatur, Windgeschwindigkeit, Feuchtigkeit und dem Luftdruck erforderlich sowie die Integration von Abschätzungen anderer Parameter mit deutlich dichterer Auflösung, zum Beispiel Wolkenaktivitäten, diabatische Erwärmung, Aerosole usw. Diese Art von Berechnungen hätte das GMAO in der Vergangenheit nicht durchführen können.

„Dank der Fortschritte in der Computertechnik konnten wir vom 50-km-Gitter-Abstand2 vor 20 Jahren mit einer einzigen Wetterprognose pro Tag eine Skalierung zum heutigen 12-km-Abstand2 mit Vorhersagen alle sechs Stunden erreichen“, so Putman. „Wir entwickelten uns von einem dreidimensionalen Variational-Data-Assimilation-System zu einem vierdimensionalen System, das die Daten aus Beobachtungen über das sechsstündige Assimilationsfenster einheitlicher verteilt.

Upgrades des Discover-Systems haben auch andere Funktionen der vom GMAO durchgeführten Berechnungen verbessert.

„Sie konnten auch Prognosen und Modelle mit bis zur zehnfachen Auflösung durchführen", fügte Duffy hinzu. „Unter Verwendung einer der SCUs mit über 30.000 Intel Prozessorkernen führten sie eine globale Prognose mit 1,5 km2 durch. Hierbei handelte es sich um die globale Atmosphärensimulation mit der höchsten Auflösung, die bis zu dem Zeitpunkt von einem US-Modell durchgeführt wurde."

Laut Putman gewinnen sie mit jedem neuen Cluster an Leistungsvermögen, nicht nur feinere Auflösungen durchzuführen, sondern auch mit ihren Modellen zu experimentieren, um zu verstehen, wie sie ihre Produktionsprodukte verbessern können. So wurde zum Beispiel das sehr feine 1,5-km2-Forschungsmodell mit dem 3-km2-Gitter-Abstand zu zu einer deutlich längerfristigen Vorhersage, die nun als Forschungsprodukt angeboten wird.

Die Forschung des GMAO wird von vielen verschiedenen Gruppen innerhalb der NASA verwendet. So führte Putmans Team zum Beispiel während der Planung des Orbiting Carbon Observatory 2 (OCO-2) zwischen 2012 und seiner Inbetriebnahme 2014 eine 7-km2-Simulation verschiedener atmosphärischer Aerosole und Chemikalien durch, die im Discover-Cluster Kohlenmonoxid (CO) und Kohlendioxid (CO2) umfasste. Die OCO-2-Gruppe nutzte die Daten dieser Simulation, um ihre Projektpläne und die Implementierung für die Messung von Kohlenstoff in der Erdatmosphäre weiter zu verfeinern. Der OCO-2-Satellit liefert auch heute noch Daten an die NASA und die wissenschaftliche Community, wobei im Mai 2019 ein OCO-3-Instrument eingeführt wurde.

„Ausgehend von dieser Simulation“, fügte Putman hinzu, „führten wir eine Simulation über einen kürzeren Zeitraum durch, die eine vollständige reaktive chemische Eigenschaft umfasste. Wir betrachteten nicht nur den Verlaufsweg von Aerosolen und Gasen, sondern die vollständigen Interaktionen von über 200 chemischen Stoffen in der Atmosphäre, zum Beispiel die Ozonkonzentration auf der Oberfläche. Diese Forschung war ein Vorläufer des kombinierten Prognoseprodukts für fünftägige Vorhersagen der Luftqualität, die heute angeboten werden.“

Mit jeder neuen Weiterentwicklung des Discover-Clusters werden neue Funktionen eingeführt, so Duffy. Für das GMAO entwickeln Programmierer KI-Algorithmen, mit denen deren teuren Simulationsdurchläufe, zum Beispiel Langzeitsimulationen chemischer Wechselwirkungen, effizienter ablaufen können.

Zusammenfassung

Die Wettervorhersage- und Klimasimulationsaufgaben, die das GMAO ausführt, sind äußerst rechenintensiv und können nur auf Clustern mit sehr großem Leistungsvermögen ausgeführt werden, zum Beispiel dem Discover des NCCS der NASA. Da die NASA das Discover-System weiterhin jedes Jahr mit neuen Scalable Compute Units aufrüstet, werden Wissenschaftler wie Bill Putman komplexere Vorhersagen und raffiniertere Simulationen bereitstellen können. Die neueste Ergänzung zum Discover ist ein Cluster aus 25.600 Kernen mit skalierbaren Intel® Xeon® Prozessoren und Cornelis Networks Fabric. Er bietet dem GMAO die Voraussetzungen, ihre Mission, nämlich die NASA – und andere Agenturen und Forscher – bei ihrer Arbeit rund um die Erde und oberhalb der Erde zu intensivieren.

Diese Schnappschüsse 40-tägiger Simulationen, die am 1. August 2016 gestartet wurden, zeigen die Darstellung konvektiver Wolken im GEOS-Modell. Hier werden simulierte Infrarot-Helligkeitstemperaturen bei Auflösungen zwischen 200 bis 3 km im Vergleich zu beobachteten Daten mit einer Auflösung von 4 km (unten rechts) gezeigt. (Visualisierungen von William Putman, NASA Goddard Space Flight Center, mit freundlicher Genehmigung der NASA)

Lösungskomponenten

  • Mehrere Scalable Units mit 108.000 Kernen
  • Neues Upgrade mit 640 Supermicro-FatTwin-Zweiprozessor-Knoten mit Intel® Xeon® Gold 6148 Prozessoren
  • Cornelis Networks-Fabric
  • Spitzenrechenkapazität von über 6 PetaFLOPs

PDF herunterladen

Produkt- und Leistungsinformationen

1

Intel hat das Omni-Path-Geschäft an Cornelis Networks ausgelagert, ein unabhängiges Unternehmen im Intel Capital Portfolio. Cornelis Networks wird Bestands- und Neukunden weiterhin mit führenden, zweckbestimmten Hochleistungs-Netzwerkprodukten für High Performance Computing und künstliche Intelligenz beliefern. Intel ist der Ansicht, dass Cornelis Networks das Technologieumfeld von hochleistungsstarken Fabric-Lösungen erweitern und Optionen für Kunden bieten wird, die mithilfe von Intel® Xeon™ Prozessoren Cluster für HPC und KI erstellen wird. Weitere Einzelheiten zur Veräußerung und Umstellung von Omni-Path-Produkten finden Sie unter www.cornelisnetworks.com.

2 Informationen zur Konfiguration der Scalable Compute Units des Discover-Systems finden Sie hier: ​​​https://www.nccs.nasa.gov/systems/discover/scu-info. Die Spitzenkapazität von 6,7 PetaFLOPs ist ein künftiger Wert nach der Erweiterung von SC15. In Leistungstests verwendete Software und Workloads können speziell für die Leistungseigenschaften von Intel® Mikroprozessoren optimiert worden sein.