HPC-Daten- und -Arbeitsspeicher

Verhindern Sie, dass die Latenzzeiten des Datenzugriffs zu einem wichtigen Leistungsengpass werden. Entdecken Sie fortschrittliche persistente Arbeitsspeicher- und HPC-Speicherlösungen, die dafür optimiert sind, die Bandbreite und Durchsatzanforderungen der datenintensiven HPC-Workloads von heute zu erfüllen.

HPC-Daten- und -Arbeitsspeicher – Überblick:

  • Traditionelle Speicher-Stacks, die für HDDs und Baustein-I/O ausgelegt sind, eignen sich schlecht für die heutigen datenintensiven HPC-Workloads, einschließlich KI und Simulationen.

  • Die Entwicklung der HPC-Speicheranforderungen hat den Bedarf an einer Senkung der Latenzzeiten und an HPC-Speicherlösungen, die vollständig für nichtflüchtige Speichertechnologien (NVM), HPC-Software-Ökosysteme und alle HPC-Architekturkomponenten optimiert sind, vorangetrieben.

  • Intel® HPC-Daten- und -Arbeitsspeicherlösungen, einschließlich persistenter Intel® Optane™ Speicher, persistenter Intel® Optane™ Solid-State-Drives (SSDs) und Intel® QLC-3D-NAND-SSDs, wirken zusammen, um die Barrieren zwischen Daten und Rechenleistung zu eliminieren.

author-image

By

Um die anspruchsvollsten Leistungsbenchmarks von heute zu erfüllen und sogar zu übertreffen, müssen HPC-Systeme ein ausgewogenes Portfolio an Bausteinen enthalten. Aufgrund des jüngsten exponentiellen Wachstums der Größe von Datensätzen und der Anzahl von Lese-/Schreibvorgängen, die HPC-Anwendungen durchführen müssen, ist es oft die Datenspeicher- und Arbeitsspeicherleistung – und nicht die Prozessorgeschwindigkeit –, die die Gesamtleistung des Systems begrenzt.

Die modernsten HPC-Daten- und -Arbeitsspeichertechnologien sind Teil eines Konzepts, das vom DRAM im Hot-Tier bis hin zu preiswerten Langzeitspeichermedien im Cold-Tier reicht. Systemarchitekten müssen die Produkte und Funktionen bestimmen, die die Leistungsanforderungen ihrer individuellen HPC-Workloads am besten erfüllen. Diese werden zunehmend nicht in traditionellen NVM- und Speicherlösungen zu finden sein.

HPC-Daten- und -Arbeitsspeicher – Herausforderungen

Die Grenzen des HPC erweitern sich ständig, da es für reale Berechnungsprobleme erforderlich ist, dass große und ständig wachsende Datenmengen gesammelt, gespeichert, abgerufen und verarbeitet werden. Allein die Größe dieser Datensätze stellt eine Herausforderung für den Arbeitsspeicher und den Datenspeicher dar: Einfach ausgedrückt sind die Kapazitäten des DRAM zu klein und die Festplatten zu langsam.

Bei traditionellen Arbeitsspeicher- und Datenspeicherlösungen mussten HPC-Systemarchitekten schwierige Kompromisse zwischen Speicherkapazität, Leistung und Kosten eingehen. Es war eine Herausforderung, die Lücken zwischen lokalisierten heißen Daten in der Nähe der CPU und größeren nichtflüchtigen Speicherkapazitäten für die gesamte Bandbreite unterschiedlicher HPC-Workloads zu schließen. Insbesondere zwei bedeutende Lücken blieben bestehen:

  • Zwischen dem DRAM – mit seinen hohen Kosten und geringen Kapazitäten – und NAND-basierten SSDs, die eine günstigere Kapazität bieten, aber bei denen es zum Problemen im Hinblick auf die Latenzzeiten kommt.
  • Und zwischen NAND-SSDs und HDDs, die einen massiven Speicher zu niedrigen Kosten bieten können, aber erhebliche Anforderungen an Stromverbrauch, Kühlung und Platzbedarf haben, Nutzer in Bezug auf Zuverlässigkeit vor Herausforderungen stellen und noch höhere Latenzzeiten mit sich bringen.

Was wird benötigt: Reduzierung der Latenz und erhöhte Speicherkapazität

Für viele HPC-Workloads stellt die Übertragungsrate, mit der die Daten zum Prozessor gebracht werden können, in der Praxis einen der wichtigsten Leistungsengpässe dar. Architekten von HPC-Lösungen haben versucht, diese Einschränkung durch den Einsatz von lokalem Caching und durch die Bereitstellung von wachsenden DRAM-Pools zu überwinden, um mehr Daten näher an der CPU zu halten. Das DRAM bietet einen schnellen Zugriff auf seine Inhalte, ist aber kostenintensiv, unterliegt Größenbeschränkungen, die es für die Verwendung mit großen In-Memory-Datenbanken unbrauchbar machen, und ist flüchtig.

Flüchtige Speicherlösungen eignen sich schlecht für die extremen Leistungsanforderungen, mit denen es HPC-Systeme von heute zu tun haben. Die Folgen eines Datenverlusts bei einem Systemabsturz können katastrophal sein, und lange Neustartzeiten beeinträchtigen die Produktivität erheblich.

Die Speicherung größerer Datenmengen auf nicht flüchtigen Medien wie NAND-SSDs oder HDDs stellt jedoch eine größere Herausforderung für die Leistung dar. Speichersysteme, die für herkömmliche HDD-Medien und POSIX-Input-/Outputfunktionen (I/O) ausgelegt sind, können mit den komplexen zufälligen Lese- und Schreibmustern, die Analyse- und Simulations-Workloads erzeugen, einfach nicht Schritt halten und sind auch nicht für die leseintensiven Anforderungen von KI-Workloads geeignet.

Tatsächlich steigen die I/O-Anforderungen pro Rechenknoten durchwegs – sowohl bei Exascale als auch bei kleineren Systemen –und erhöhen die Anforderungen an HPC-Speicherlösungen, da alle Workloads immer komplexer werden.

Die Wahl der optimalen HPC-Daten- und -Arbeitsspeicherlösungen für Ihren Workload

Traditionelle HPC-Cluster
Für Anwendungen für Hochleistungssimulationen und die Erstellung von Modellen, wie z. B. Vorhersagen für die Strömungsdynamik, Erstellung von Klimamodellen und Finanzprognosen, werden die Berechnungen typischerweise auf mehrere Maschinen verteilt, die so konfiguriert sind, dass sie als ein einziger HPC-Cluster fungieren. Es sind schnellere HPC-Daten- und -Arbeitsspeicher erforderlich, um feiner ausgearbeitete Modelle, eine schnellere Ergebnisgenerierung und mehr Produktivität zu ermöglichen.

KI-Systeme (Künstliche Intelligenz)
KI-Workloads werden in HPC-Anwendungen immer öfter verwendet. Diese Workloads erfordern weitaus mehr Lesevorgänge als herkömmliche HPC-Workloads, und diejenigen, die mit Instrumentenclustern oder anderen Echtzeit-Streaming-Datendiensten interagieren, erfordern eine höhere laufende Servicequalität (QoS), um kritische Datenverluste zu vermeiden. Die Schreibintensität nimmt ebenfalls zu, ebenso wie die Einlesephase der KI. Diese Systeme benötigen eine Kommunikation mit niedrigen Latenzzeiten und hoher Übertragungsrate, die idealerweise das Betriebssystem vollständig umgeht, um sicherzustellen, dass die Algorithmen für maschinelles Lernen und die Inferenzalgorithmen mit der erforderlichen Geschwindigkeit und Genauigkeit funktionieren.

High Performance Data Analytics (HPDA)
Mit dem exponentiellen Wachstum der Datenmengen steigt auch der Bedarf an Analysen, die schnell durchgeführt werden können. HPDA-Workloads haben nicht nur weitaus größere I/O-Anforderungen als typische „Big Data“-Workloads, sondern sie erfordern auch größere Rechen-Cluster und effizientere Netzwerke. Auch die HPC-Arbeitsspeicher- und Datenspeicheranforderungen von HPDA-Workloads sind entsprechend größer.

Supercomputer und Exascale-Systeme
Die Skalierbarkeit und die Kostenvorteile moderner HPC-Daten- und -Arbeitsspeicherlösungen sind für Supercomputing-Cluster und Exascale-Systeme besonders wichtig. Da diese HPC-Lösungen in Unternehmen und im akademischen Bereich immer häufiger zum Einsatz kommen, werden die Kosten zunehmend zu einem Faktor. Dennoch ist es von entscheidender Bedeutung, dass diese Lösungen weiterhin die Grenzen der bekannten Rechenkapazitäten verschieben, und der einzige Weg, dies zu tun, sind HPC-Arbeits- und Datenspeicher-Lösungen, deren Leistung mit den Fortschritten bei Prozessoren, Fabric und anderen HPC-Komponenten Schritt hält.

HPC-Daten- und -Arbeitsspeicherprodukte

Mit seinem umfassenden Portfolio an HPC-Daten- und -Arbeitsspeicherlösungen in Kombination mit der Distributed Asynchronous Object Storage (DAOS) – der Grundlage für den Intel® Exascale Software-Stack – revolutioniert Intel die HPC-Speicherarchitektur. Diese Technologien schließen die Lücken zwischen In-Memory-Daten und der Speicherkapazität für große Datensätze, um revolutionäre Projekte zu unterstützen, die eine Rechenleistung der Spitzenklasse erfordern.

Persistenter Intel® Optane Speicher
Der persistente Intel® Optane Speicher ist eine neue Klasse einer HPC-Speicherlösung, die nahezu eine Echtzeitanalyse selbst der größten Datensätze von heute unterstützt. Intel® Optane bietet einen persistenten Speicher mit hoher Kapazität und hoher Leistung, der auf denselben Bus/Kanälen wie das DRAM laufen kann und bei der Speicherung flüchtiger Daten als DRAM fungiert. Intel® Optane kann auch im persistenten Modus ohne Stromzufuhr betrieben werden und bietet eine höhere Speicherkapazität bei geringeren Kosten pro GB. Dadurch können HPC-Lösungsarchitekten eine große persistente Speicherebene zwischen DRAM und SSDs nutzen – eine, die sowohl schnell als auch kostengünstig ist.

Intel® Optane Solid-State-Laufwerke (SSDs)
Intel® Optane Solid-State-Laufwerke (SSDs) bieten eine völlig neue Art von Datenspeicherschicht, zwischen Arbeitsspeicher und 3D-NAND-SSDs. Intel® Optane DC SSDs bieten eine hohe Leistung bei wahlfreien Lese-/Schreibvorgängen und eine gleichbleibend niedrige Latenzzeit, was sie ideal für eine Beschleunigung beim Caching macht. Die Intel® Optane Technologie bietet außerdem die Servicequalität und Belastbarkeit, die HPC-Workloads benötigen, um bahnbrechende Leistungen zu erzielen.

Intel® QLC-3D-NAND-SSDs
Die Intel® QLC-3D-NAND-SSD-Technologie setzt neue Maßstäbe für die Wirtschaftlichkeit von Massenspeichern von heute, indem sie kostengünstige, hochdichte Speicher bereitstellt, die eine zuverlässige Mischung aus Leistung, Kapazität und Wert bieten. Basierend auf der bewährten Vertical-Floating-Gate-Technologie, aber mit höherer Speicherdichte und einer einzigartigen Stützschaltungsarchitektur, sind Intel® QLC-3D-NAND-SSDs darauf ausgelegt, optimale Leistung für HPC-Workloads mit hohem Schreibanteil oder umfangreichem Caching zu liefern, insbesondere in Verbindung mit Intel® Optane Technologien.

Distributed Asynchronous Object Storage (DAOS)
Distributed Asynchronous Object Storage (DAOS) ist ein Open Source-Software-Ökosystem, das in Hinblick auf eine Senkung der Latenzzeiten in HPC-Workloads entwickelt wurde, und vollständig für persistente Intel® Optane Speicher und Intel® Optane DC SSDs sowie für andere Intel® HPC-Lösungen und -Produkte optimiert ist. DAOS wurde so konzipiert, dass die Vorteile der NVM-Technologien voll ausgeschöpft werden und Speichercontainer mit hoher Bandbreite, niedriger Latenzzeit und einer hohen Anzahl von Input-/Output-Vorgängen pro Sekunde (IOPS) für HPC-Anwendungen bereitgestellt werden.

Intel® Select Solutions für HPC
Es ist eine Herausforderung, sicherzustellen, dass alle HPC-Cluster-Komponenten validiert sind, damit sie zusammenarbeiten und die Leistungsanforderungen Ihrer Workloads erfüllen können. Intel® Select Lösungen für HPC bieten einfach und schnell zu implementierende HPC-Infrastrukturen mit der richtigen Kombination aus Rechenleistung, Fabric, Arbeitsspeicher, Datenspeicher und Software für ausgewogene Systeme, die die Zeit bis zum Erreichen von Erkenntnissen und Durchbrüchen für Analyse-Cluster oder bestimmte HPC-Anwendungen verkürzen.