DAOS-Speicherlösung revolutioniert Hochleistungsspeicher
Distributed Asynchronous Object Storage (DAOS) bietet mit persistentem Intel® Optane™ Speichermedium erhebliche Verbesserungen beim Datenspeicher-I/O zur beschleunigten Durchführung von HPC-, KI-, Analyse- und Cloud-Projekten.
Setzen Sie Hochleistungsspeicher mit DAOS in die Tat um
DAOS ist eine Open-Source-Lösung für verteilte Datenspeicher auf der Grundlage zahlreicher innovativer Prinzipien. Diese Technik nutzt die schnelle I/O und Datenpersistenz von persistentem Intel® Optane™ Speicher in Kombination mit beliebigen NVMe-SSDs (Non-Volatile Memory Express) wie etwa Intel® NVMe-SSDs, um in verteilten Umgebungen Engpässe zu reduzieren und die Speicherleistung zu steigern.
Latenz bei herkömmlichen Speichern
Bei herkömmlichen Speicherlösungen informieren Metadaten das Betriebssystem darüber, wo sich innerhalb eines Speicher-Clusters Daten befinden. Jedes Mal, wenn das System für Lese- oder Schreibvorgänge auf Daten zugreift, muss es auch innerhalb eines I/O-Blocks im zugrunde liegenden Speichermedium entsprechende Metadaten erstellen oder ändern. In Rechen-Clustern müssen mehrere Knoten mitunter auf denselben Block zugreifen, sodass bei herkömmlichen Speicherlösungen vorübergehend der Block gesperrt wird, um Schreibkonflikte zu verhindern. Wenn dies bei Millionen von Lese-/Schreibvorgängen auftritt, entsteht eine erhebliche Speicherlatenz, die die Anwendungs-I/O beeinträchtigt.
Schreiblatenzen im Mikrosekundenbereich mit DAOS, persistentem Intel® Optane™ Speicher und Intel® NVMe-SSDs
In einer DAOS-Konfiguration speichern persistente Intel® Optane™ Speichermodule Metadaten für den gesamten Cluster byte- statt blockweise, sodass der Block nicht wie bei herkömmlichen Speichern gesperrt zu werden braucht. Der Einsatz von NVMe-SSDs ermöglicht darüber hinaus die Sättigung des PCIe-Busses durch Datenspeicher-I/Os mit einer größeren Pipeline im Vergleich zu SATA-SSDs.1 Infolgedessen kann DAOS erheblich schnellere Datenspeicher-I/O als bei herkömmlichen Datenspeichern in einer Größenordnung von Millisekunden bis zu mehreren Mikrosekunden gewährleisten.2 Persistenter Speicher behält Metadaten auch bei Systemabschaltungen und Neustarts bei und kann kleine Schreibvorgänge absorbieren, um die Systemverfügbarkeit bei strikten SLA-Anforderungen zu gewährleisten. In DAOS-Bereistellungen mit 3D QLC NAND-Speichern kann persistenter Speicher außerdem die Leistungsbeeinträchtigung von Schreibdruck auf dem Speichercluster mindern.
Open-Source-Software und validierte DAOS-Versionen
Neben der Hardware-Ebene benötigen Lösungsanbieter Open-Source-DAOS-Software zur Vollendung des Stacks. Entwickler können den Code direkt von GitHub herunterladen und kompilieren. Für einen einfacheren Bereitstellungspfad sind getestete und validierte Binärversionen über die Community-Website daos.io verfügbar. Intel arbeitet aktiv mit Partnern und Lösungsanbietern zusammen, um ihre DAOS-Produktangebote mit technischem L3-Support auszustatten.
Auf neuesten Code auf GitHub zugreifen
Validierte Binärversionen von daos.io herunterladen
DAOS-Dokumentation auf daos.io konsultieren
DAOS-E-Mail-Verteiler für die neuesten Aktualisierungen aus der Community beitreten
HPC und Big Data: DAOS-Speicher ändern die Zukunft
In Big Data- und HPC-Clustern sind Rechenknoten eng mit Speicherebenen verbunden, und Datenwissenschaftler haben es häufig mit einer Vielzahl von kalten, warmen und heißen Datentypen zu tun. Speicherkonfigurationen der Zukunft werden von einem hybriden Ansatz abhängen, bei dem DAOS an Dateisysteme angehängt ist, die außerdem kostenoptimierte SATA-Laufwerke verwenden. Akademische und staatliche Labors sehen bereits die Ergebnisse der hohen Rechenkapazitäten in HPC-Clustern, die ihre Tätigkeiten erheblich beschleunigen.
So hat beispielsweise das Radiologieforschungszentrum der Washington University ein softwaredefiniertes Speichersystem bereitgestellt, das mithilfe von DAOS bis zu 13 Petabyte Speicherplatz zu um 1500 USD niedrigeren Kosten pro Speicherknoten bietet.3 Auch kommerzielle HPC-Bereitstellungen weisen erhebliches Potenzial auf, insbesondere in den Bereichen Energie und Gesundheitswesen, die einen hohen Bedarf an HPC-KI, Analysen und Simulations-Workloads aufweisen. Im IO-500 Benchmark, einer Auflistung der weltweit schnellsten Speichersysteme, nehmen DAOS-Konfigurationen derzeit die Hälfte der zehn besten Plätze ein.4
DAOS-Speicher für hohe Leistung im Exascale-Bereich
DAOS dient als Datensystem für den Aurora-Supercomputer des Argonne National Lab (ANL), das erste geplante HPC-System mit Exascale-Rechenleistung, das mit bis zu 230 Petabyte von DAOS-fähigem Datenspeicher und einer Lese-/Schreibbandbreite von über 25 TB/s aufwarten kann. Sowohl das ANL als auch das Texas Advanced Computing Center (TACC), ein weiterer Partner von Intel mit DAOS-fähigem HPC, rangierten im September 2020 unter den ersten fünf Positionen der IO-500-Auflistung. Diese Erfolge haben auch das Interesse von CSPs wie Google Cloud Platform geweckt, denen nunmehr sehr daran gelegen ist, DAOS in ihre Cloud-Speicherdienste aufzunehmen.
Niedrige Leselatenzen selbst bei Schreibdruck
Selbst für kostenoptimierte Medien mit leseintensiven Workloads kann DAOS eine positive Wirkung haben. Eine mit Intel® QLC 3D NAND-SSDs anstelle von NVMe-SSDs getestete DAOS-Konfiguration konnte Latenzen bei gelesenen Endbits in einer Größenordnung von fünf Neunen (P99.999) zwischen 200 und 300 μs erzielen, was bedeutet, dass 99,999 Prozent aller Anforderungen in weniger als 300 μs übertragen wurden.5 Bei Anwesenheit von Schreibdruck von bis zu 2.500 MB/s zeigte der gleiche Test, dass DAOS fünf Dateisystem-SLAs einhalten und fünf Neunen in weniger als 5 ms erzielen konnte.5
Skalierbare Intel® Xeon® Prozessoren und DAOS-Leistung
Prozessorleistung in einem Datenspeicher wirkt sich positiv auf die DAOS-Leistung aus. Allmähliche Verbesserungen hinsichtlich der Anzahl der Speicherkanäle, der Bandbreite pro Kanal sowie der PCIe-Geschwindigkeit (PCIe 4 gegenüber PCIe 3) stellen einen erheblichen Schub nach vorn für DAOS dar. In einem IOR Benchmark-Test erzielte eine Konfiguration aus skalierbaren Intel® Xeon® Prozessoren der 3. Generation und persistenten Intel® Optane™ Speichern der Produktreihe 200 eine Steigerung bei der Schreibleistung um 58 Prozent im Vergleich zu CPUs und persistenten Speichern älterer Generationen.6 Es wird erwartet, dass PCIe Gen 5 in zukünftigen Prozessorgenerationen noch höhere Leistungsniveaus für DAOS bieten wird.
DAOS-Schlussfolgerung: eine neuer Weg für Datenspeicher-I/O
DAOS eröffnet einen neuen Weg zur Umsetzung von hervorragendem Datenspeicher-I/O, der mit der steigenden Rechenleistung Schritt hält und selbst bei anspruchsvollsten Anwendungsfällen noch Datenspeicher-I/O für andere Zwecke bereithält. Anwendungen für KI, Analysen, HPC und sogar Cloud-Computing können von DAOS mit persistenten Intel® Optane™ Speichern profitieren.