Kurzübersicht:
Das EPCC (Edinburgh Parallel Computing Center) ist ein Zentrum der wissenschaftlichen Forschung mithilfe von High-Performance-Computing (HPC). Das Zentrum ist für seine fortgeschrittenen Kapazitäten in allen Bereichen von HPC, High Performance Data Analytics (HPDA) und neuartigem Computing international bekannt. Das EPCC ist Heimat von ARCHER (Advanced Research Computing High End Resource), Cirrus und Tesseract, dem britischen Extreme-Scaling-Service der DiRAC-Einrichtung (DiRAC: Distributed Research utilizing Advanced Computing). Tesseract ist ein Supercomputer mit mehr als 20.000 Kernen auf Hypercube-Basis und skalierbaren Intel® Xeon® Prozessoren sowie Cornelis Networks1 Fabric. Zu seinen anderen Ressourcen zählt auch ein kleinerer, aber genauso wichtiger Cluster, der bahnbrechende Forschung im Rahmen des Projekts NEXTGenIO ermöglichte. Forscher nutzen diesen von Fujitsu mit skalierbaren Intel Xeon Prozessoren der 2. Generation und persistentem Intel® Optane™ Speicher gebauten Cluster, um Codes zu modifizieren und optimieren, mit denen die Vorteile des persistenten Intel Optane Speichers für parallele Workloads mit hohem Durchsatz ausgeschöpft werden können.
Herausforderung
Exascale-Computing erfordert die Bewältigung vieler Herausforderungen, darunter solche in Bezug auf HPC I/O, die hinter anderen HPC-Vorteilen zurückgeblieben sind. Das EPCC leitete das von der Europäischen Kommission finanzierte NEXTGenIO-Projekt und forschte u. a. daran, wie Byte-adressierbarer persistenter Speicher (B-APM) für große Parallel-Computing-Workloads genutzt werden kann. Zu den NEXTGenIO-Partnern zählen das EPCC, Intel, Fujitsu, das Barcelona Supercomputing Center (BSC), die Technische Universität Dresden, ARM/Allinea, das Europäische Zentrum für mittelfristige Wettervorhersage (EZMW) und ARCTUR.
Persistenter Intel Optane Speicher sowie skalierbare Intel Xeon Prozessoren der 2. Generation sorgen für eine flexible B-APM-Architektur für Server, die persistenten Intel Optane Speicher nutzen.
Die Arbeit des EPCC am NEXTGenIO-Projekt konzentrierte sich auf die allgemeinen technischen und architektonischen Anforderungen zur Maximierung des Potenzials des persistenten Intel Optane Speichers in seinen verschiedenen Nutzungsmodi. In Zusammenarbeit mit Industrie und Universitäten in ganz Europa implementierten die Forscher neue Dateisysteme, entwickelten Scheduler mit Datenbankunterstützung, untersuchten Kontrollpunkt-Software und integrierten I/O und Kommunikationsbibliotheken für die notwendigen Software-Modifizierungen und -Optimierungen, die durch den persistenten Intel Optane Speicher ermöglicht werden.
Lösung
Die Erforschung neuer Speicherhierarchien für HPC-Architekturen zur Leistungsbeschleunigung und Verbesserung von Systemeffizienzen ist seit Jahren einer der Fokuspunkte beim Supercomputing. Von Burst Buffers über SSDs und jetzt B-APM an jedem Knoten für die lokale Datenspeicherung verlagern Systemarchitekten schnellere, effizientere Technologien näher zur CPU.
Der persistente Intel Optane Speicher kombiniert die Eigenschaften Speicherung und Arbeitsspeicher in einem einzigen Modul hoher Kapazität, das in einen Server-DRAM-Steckplatz passt. Die meisten skalierbaren Intel Xeon Prozessoren der 2. Generation erkennen diese Technologie und bieten DRAM-ähnliche Leistung mit bis zu 3 TB Kapazität pro Sockel. Der persistente Intel Optane Speicher bietet verschiedene Nutzungsmodi zur Optimierung der Technologie für verschiedene Arten von Workloads, egal, ob sie massive Kapazität an flüchtigem Speicher, persistente Datenspeicherung mit DRAM-ähnlicher Leistung oder eine Kombination von Beidem benötigen.
Wir haben persistenten Intel Optane Speicher mit einem OpenFOAM-Code mit großen I/O-Mengen als Dateisystem am Knoten verwendet. Mithilfe einiger unserer Tools konnten wir Daten in den Knoten importieren und daraus exportieren und den persistenten Speicher als Datenspeicher nutzen. Der Solver lief im Vergleich zum Lustre-Dateisystem für Daten mehr als achtmal schneller, das sind 12 Prozent der Originallaufzeit.“ – Adrian Jackson, Senior Research Fellow am EPCC.
Der neue Forschungscluster des EPCC wurde von Fujitsu gebaut und stellt Computing-Ressourcen für die NEXTGenIO-Forschung bereit. Im Rahmen eines intensiven gemeinsamen kreativen Entwicklungsprozesses analysierte Fujitsu die Anwendungs-I/O- und Computing-Anforderungen der NEXTGenIO-Partner und entwickelte das NEXTGenIO-System, das sich ganz auf die Überwindung bestehender Engpässe konzentriert. Der Cluster beherbergt 34 Knoten mit Dual-Socket Intel Xeon Platinum 8260 Prozessoren der 2. Generation, 3 TB persistentem Intel Optane Speicher und 192 GB DRAM pro Knoten. Eine 100-Gbit/s-Cornelis Networks Fabric verbindet die Rechenknoten, während ein 56-Gbit/s-Infiniband-Netzwerk mit einem externen Lustre Paralleldateisystem verknüpft ist. Mithilfe der Architektur konnten die Forscher in Erfahrung bringen, wie ein persistenter Speicher hoher Kapazität über viele verschiedene große Parallelcodes wie z. B. OpenFOAM genutzt werden kann. OpenFOAM ist ein Computational Fluid Dynamics (CDF)-Code, der in der IFS-Vorhersagesoftware des EZMW eingesetzt wird.
„Wir freuen uns sehr, dass Fujitsu zum Erfolg des NEXTGenIO-Projekts beitragen konnte“, so Olivier Delachapelle, Fujitsu Head of Category Management-Products Sales Europe. „Das Beheben von I/O-Engpässen ermöglicht signifikante Leistungs- und Skalierbarkeitsverbesserungen auf dem Weg zu HPC Exascale. Fujitsu hat die DCPMM-Technologie erfolgreich mit unseren Produktreihen PRIMERGY und PRIMEQUEST integriert. Dieser Durchbruch bei der I/O-Leistung wird daher auch für viele unserer Kundenanwendungen in einer breiten Palette von Geschäftssektoren schneller zu Ergebnissen führen.“
Der persistente Intel Optane Speicher in Kombination mit skalierbaren Intel Xeon Prozessoren der 2. Generation bietet eine flexible B-APM-Architektur für Server.
Ergebnisse
Der neue persistente Intel Optane Speichercluster des EPCC lieferte vielversprechende Ergebnisse für das NEXTGenIO-Projekt. Die Leistung des Clusters mit persistentem Intel Optane DC Speicher wurde mithilfe von Benchmarks und Anwendungen im großen Umfang gemessen.
Die Projektpartner konnten zusammen mit dem EZMW neuartige Software entwickeln, um die Technologien des neuen Clusters voll zu nutzen. Die Wettervorhersagesoftware des EZMW führt täglich 56 Prognosen aus, um Wettervorhersagen für neun bis 16 Tage bereitzustellen, die dann den Mitgliedsorganisationen des EZMW zur Verfügung gestellt werden. Die Software wurde geändert, um persistenten Intel Optane Speicher im App-Direct-Modus zu verwenden und die Technologie als persistenten Datenspeicher zu nutzen.
„Mit einem OpenFOAM-Code mit großen I/O-Mengen“, erklärte Adrian Jackson, Senior Research Fellow am EPCC, „konnten wir den persistenten Intel Optane Speicher als Dateisystem am Knoten nutzen. Mithilfe einiger unserer Tools konnten wir Daten in den Knoten importieren und daraus exportieren und den persistenten Speicher als Datenspeicher nutzen. Der Solver lief im Vergleich zum Lustre-Dateisystem für Daten mehr als achtmal schneller, das sind 12 Prozent der Originallaufzeit.“2
Mithilfe des persistenten Intel Optane Speichers lief ein OpenFOAM-Code mit großen I/O-Mengen im Vergleich zu einem Lustre Dateisystem schneller.2
Andere Codes nutzten die zweistufige Speicherarchitektur des Systems sowie die große Speicherkapazität des persistenten Intel Optane Speichers für Daten und DRAM als Zwischenspeicher (Arbeitsspeichermodus).
In einer weiteren Studie wurde der gleiche Code laut Jackson auf einem einzelnen Knoten mit persistentem Intel Optane Speicher ausgeführt, während bei einer umfassenden Simulation ohne persistenten Speicher 20 Knoten erforderlich waren. „Die Simulation lief zwar nicht schneller, aber auf einem einzigen Knoten effizienter“, fügte Jackson hinzu.2 Eine solche Konsolidierung verspricht Vorteile für das Scale-Out großer Anwendungen auf kleineren Clustern.
Mehrere weitere Studien wurden abgeschlossen, darunter zu synthetischen Workflows und IOR-Benchmarks. Die Arbeit wird in einem University of Edinburgh Research Explorer-Bericht beschrieben.3 Die Arbeiten laufen weiter, um I/O für umfassende Codes auf HPC-Rechnern mit persistentem Intel Optane Speicher und skalierbaren Intel Xeon Prozessoren der 2. Generation weiter zu optimieren.