Seismische Analyse ist ein Anwendungsbereich von High-Performance-Computing (HPC), der allein aus der Reflexion von Schallwellen Rückschlüsse auf die Verhältnisse und das Geschehen unter der Erdoberfläche ermöglicht. Damit brauchbare 3D-Analysen möglich sind, werden Petabyte (PB) an Daten und Tausende leistungsstarker Computer benötigt. Nicht einmal große Erdölunternehmen verfügen hausintern über alle Rechenressourcen, die für die Durchführung solcher Analysen nötig sind und wenden sich deshalb an Firmen wie DUG Technology, um ihren Bergen an Daten Einzelheiten zu entlocken.
DUG (ursprünglich DownUnder GeoSolutions) bezeichnet diese Dienstleistung als HPC-as-a-Service (HPCaaS): spezialisierte, auf Abruf verfügbare umfassende Berechnungen auf Exascale-Niveau. In der Vergangenheit stand das Compute-as-a-Service-Angebot von DUG nur bestimmten Kunden wie großen Erdöl- und Erdgasunternehmen zur Verfügung. Nachdem der Markt die Fähigkeiten von DUG erkannte, erweiterte das Unternehmen sein Angebot für andere Branchen, die denselben Dienst für unterschiedlichste extreme Rechenanforderungen nutzen.
DUG entschied sich, Unternehmen außerhalb des Energiesektors denselben unkomplizierten Service anzubieten, der nur die Bereitstellung der Daten und nichts weiter erfordert. DUG wusste, dass sein Angebot an diese neuen Branchen aufgrund des speziellen DUG-McCloud-Dienstes für HPC wirtschaftlich ausfallen würde. VAST Data Universal Storage ist basierend auf Intel® Technik der Unterbau von DUG McCloud und ermöglichte es DUG, erfolgreich auf neue Gebiete wie den universitären Bereich, die Astrophysik, die Medizin und Genomik, die Simulation von Waldbrandverläufen und die COVID-19-Forschung vorzudringen. Um an diesen Punkt zu gelangen, musste DUG seine Handhabung des Datenspeichers jedoch grundlegend ändern.
Herausforderung
Im ersten Jahrzehnt seiner Aktivität hatte DUG Massenspeicher eingesetzt und verwaltet, der auf Festplattenlaufwerken basierte, um die für seine seismischen Berechnungen benötigte Skalierbarkeit und Wirtschaftlichkeit zu realisieren. In dieser Zeit hat DUG seine Anwendungen gründlich optimiert, um seine Möglichkeiten auszuschöpfen und Grenzen seiner auf Lustre und Festplatten basierenden Infrastruktur zu umgehen. Dabei musste DUG viele Kompromisse eingehen. Wenn beispielsweise Lustre-Dateisystem-Clients bei einem bestimmten Workflow den Spitzendurchsatz erreichen sollten, wären andere Benutzer desselben Dateisystems benachteiligt. Hinsichtlich der Ausfallsicherheit des Systems war DUG die Notwendigkeit, trotz in der Software einprogrammiertem Schutz vor Festplattenausfällen wöchentlich fehlerhafte Laufwerke austauschen zu müssen, ein ständiger Dorn im Auge.
Und schließlich waren die Anwendungen von DUG zwar gut für Lustre und Festplattenspeicher optimiert, doch neue Anwendungen, die DUG nunmehr unterstützen wollte, handhabten den Datenspeicher-I/O alle unterschiedlich. Vielseitige Funktionalität und Mandantenfähigkeit des Datenspeichers wurden für DUG unverzichtbar, und eine neue Lösung sollte ein breites Spektrum von Anforderungen im Exascale-Maßstab erfüllen. DUG benötigte auch eine Datenspeichertechnik, die in der Lage ist, die vielfältigen Anforderungen verschiedener Anwendungen an den Durchsatz zu bewältigen. Um höhere Leistung und Zuverlässigkeit bieten zu können, befasste sich DUG mit Datenspeicherlösungen auf Basis von Solid-State-Drives (SSD). Der Umstieg auf SSDs mit Lustre wäre jedoch unverhältnismäßig teuer gewesen, und Wirtschaftlichkeit war für DUG unverzichtbar.
Um eine ausfallsichere und anpassungsfähige Massenspeicherumgebung aufzubauen, die eine Expansion in neue Märkte ermöglichte, benötigte DUG ein neues Datenspeicherkonzept.
Server mit Immersionskühlung in einem DUG-Rechenzentrum
Lösung: VAST Data Universal Storage
DUG entschied sich bei der Expansion seiner Geschäftstätigkeit für VAST Data Universal Storage, um den vielfältigen Bedürfnissen neuer Marktsegmente und Kunden nachzukommen. Das „Universal Storage“-Angebot kombiniert Schnelligkeit und Umfang eines parallelen Dateisystems mit einem neuen Niveau wirtschaftlicher Flash-Technik und Mandantenfähigkeit und stellt damit für DUG einen umfassenden technologischen Fortschritt dar. Die DASE-Architektur (Disaggregated Shared Everything) von VAST Data sorgt darüber hinaus durch die Isolierung von nicht optimierten I/O-Vorgängen von anderen Mandanten für gleichbleibende Leistung. Durch das DASE-Konzept eliminiert VAST Data die Probleme bei gleichzeitigem Zugriff auf parallelen Datenspeicher, um für bestimmte Aufgaben hohe Leistung bereitzustellen, die nicht auf Kosten anderer Workloads geht.
Neben deutlich verbesserten Leistungseigenschaften für die Kunden vereint VAST Data Zuverlässigkeit, Verwaltbarkeit und Support in einer Weise, wie sie bei der bisherigen HPC-Datenspeichertechnik nicht zu finden ist. Die DASE-Architektur von VAST Data bringt Skalierbarkeit im Exascale-Bereich und ermöglicht DUG in einer Architektur, die eine schnelle Wiederherstellung nach Fehlern ermöglicht, den Ausbau auf Dutzende Petabyte an Flash-Datenspeicher ohne Single Points of Failure. Die Zuverlässigkeit der DASE-Architektur stellt sich von selbst ein: Sie ist ein direktes Resultat der effizienten Datensicherheit von VAST Data und der Zustandslosigkeit der Architektur. Abgesehen von der Ausfallsicherheit vereinfacht VAST Data Universal Storage für DUG auch die Bereitstellung und Verwaltung durch eine integrierte Scale-out-Appliance, die kontinuierlich neue Funktionen ausgibt, welche dann zur Vermeidung von Ausfallzeiten automatisch bei laufendem System appliziert werden.
Überblick über VAST Data Universal Storage mit Intel Datenspeichertechnik
VAST Data Universal Storage stellt einen einzigen globalen Namensraum bereit, damit jede Anwendung auf alle zugehörigen Daten für die betreffende Aufgabe zugreifen kann. Die Lösung von VAST Data kombiniert die Datenspeicherleistung reiner Flash-Technik mit massiver Skalierbarkeit, der Wirtschaftlichkeit von Archiv-typischem Massenspeicher und der Einfachheit der Plug-and-Play-Vernetzung von Netzwerkspeicher (NAS).
Intel® SSDs sind die Hardware-Grundlage für die Kosteneffizienz und Zuverlässigkeit von VAST Data Universal Storage. Durch Intels Kombination von vertikaler Floating-Gate-Technik und CMOS-under-Array-Architektur (CMOS = Complementary Metal-Oxide Semiconductor) entsteht bezüglich derselben Anzahl von Bits pro Zelle die branchenweit höchste Aufzeichnungsdichte (Gigabyte Datenspeicher pro Quadratmillimeter).1 Dies bedeutet, dass Intel® QLC 3D NAND-SSDs nicht nur eine höhere Aufzeichnungsdichte bieten als Speichermedien der vorigen Generation mit TLC-Technik (Triple-Level Cell), sondern auch höhere Aufzeichnungsdichte und Zuverlässigkeit als konkurrierende, auf Charge-Trapping-Technik basierende QLC-Designs (Quad-Level Cell).1 Die Innovationen von Intel in der Speicherarchitektur ermöglichen es der Lösung von VAST Data, kostengünstig alle Daten auf Flash-Datenträgern zu speichern. Die Kosteneffizienz und hohe Zuverlässigkeit von Intel QLC 3D NAND-SSDs bilden die Grundlage der von VAST Data implementierten Architektur zur Kostenreduzierung um bis zu 85 % gegenüber Festplattenlaufwerken (HDDs), was bedeutet, dass die auf die Kapazität bezogenen Kosten (Dollars-per-Gigabyte) denen von Systemen mit Festplatten über einen Zeitraum von etwa 10 Jahren entsprechen.2 3
Intel® Optane™ SSDs steigern die Schreibleistung bei Workloads, die mit VAST Data Universal Storage arbeiten. Entscheidend dafür ist, dass Intel Optane SSDs Schreibzugriffe auf den Datenspeicher puffern, was vollständige QLC-Erase-Block-Schreibvorgänge ermöglicht. Die geringe Latenz, hohe Beständigkeit und hohe Leistung bei wahlfreien 4K-Schreibvorgängen der Intel Optane SSDs trägt dazu bei, sicherzustellen, dass langfristig und kurzfristig gespeicherte Daten nicht in großen QLC-Blocks beieinanderliegen. Die Intel Optane Technik schützt Intel QLC 3D NAND-SSDs vor ineffizientem Schreibverhalten, was ein Grund dafür ist, dass VAST Data eine 10-jährige SSD-Haltbarkeitsgarantie und zugleich die wirtschaftlichen Vorteile der kostengünstigen QLC NAND-Technik anbieten kann.2 3
Logischer Aufbau der Universal-Storage-Lösung von VAST Data.
Datenspeicherkapazität, -kosten und -funktion sind jedoch nur einige Aspekte von VAST Data Universal Storage. Die Lösung von VAST Data zeigt sich auch als hochentwickelt, was die Implementierung neuer Algorithmen anbelangt, die zu deutlich effizienterer Datenreduktion und Datensicherheit führen.4 VAST Data Universal Storage vereint alle diese Aspekte der Datenspeicherarchitektur mit der 2. Generation der skalierbaren Intel® Xeon® Prozessoren, um in einem DASE-Cluster eine neue Klasse globaler Algorithmen zu implementieren.4 Diese Prozessoren liefern die Rechenleistung, auf die VAST Data Universal Storage und wichtige Acceleration-Bibliotheken aufbauen. Das Storage Performance Development Kit (SPDK) dient als Beschleuniger für VAST Data Universal Storage, um von jeder CPU aus Zugriffe mit niedriger Latenz auf jedes QLC- und Intel Optane SSD zu ermöglichen. Dabei macht das SPDK komplexe und eine unbeständige Cache-Kohärenz betreffende Operationen überflüssig, die ansonsten eine Skalierung in herkömmlichen Shared-Nothing-Datenspeicherarchitekturen behindern können.
VAST Data Universal Storage verbindet CPUs mit NVMe-Systemkomponenten (NVM Express) mittels NVMe-oF-Protokoll (NVMe over Fabrics), um eine verteilte Skalierung mit der Leistung und Latenz von Direct-Attached Storage (DAS) zu ermöglichen.5 NVMe-oF findet Anwendung in Standard-Ethernet- oder InfiniBand-Netzwerken, um die Auftrennung von Ressourcen und eine Shared-Everything-Architektur über Standard-Fabrics in Rechenzentren zu ermöglichen. Die VAST-Data-Vernetzung stellt das System über vorhandene Protokolle wie NFS (Network File System), Server-Message-Block (SMB) und eine Amazon-S3-kompatible API bereit, sodass Anwendungen, die universellen Datenspeicher nutzen, keine speziellen Adapter, Formate oder Protokolle benötigen.
VAST Data hat den Umgang von DUG mit Daten verändert
DUG nutzt die Lösung von VAST Data im Produktivbetrieb seit Dezember 2019 in den DUG-Rechenzentren Houston, Texas und im australischen Perth. Ein weiterer Ausbau ist geplant. Tatsächlich plant DUG, seine Rechenkapazitäten in den Jahren 2020 und 2021 in Houston zu verdoppeln und jene in Perth auf mehr als das Doppelte zu erweitern. Von Vorteil ist dabei, dass die Lösung von VAST Data mit zunehmendem Umfang zuverlässiger wird.
DUG Technology stellt seit jeher große Anforderungen an den Datenspeicher. Projekte für die Verarbeitung seismischer Daten kommen mit einem Umfang von mehr als 1 PB bei DUG an und dehnen sich während der Verarbeitung auf das 6- bis 8-Fache aus. Bei einem einzigen Projekt mit seismischen Daten kopiert und schreibt DUG diese Daten bis zu 50-mal – und DUG bearbeitet in der Regel mehr als 100 Projekte gleichzeitig. VAST Data Universal Storage ist für diese Art von Datenwachstum perfekt und hilft DUG, sicherzustellen, dass die Leistung fair auf alle um gemeinsam genutzte HPC-Ressourcen miteinander konkurrierenden Anwendungen verteilt wird.
Neben der effizienten Verarbeitung riesiger Datenmengen ist die Datenreduktion von VAST Data ein weiteres Glanzlicht. Für DUG ist dies ein Kostensenker. Selbst bei seismischen Daten, die besonders schwer zu reduzieren sind, können die leistungsstarken Funktionen für die Datenreduktion von VAST Data erhebliche Kosten einsparen. DUG Technology erwartet bei anderen Anwendungen durch ein neues, auf Ähnlichkeiten basierendes Konzept von VAST Data zur globalen Datenkompression größere Einsparungen.
Ein weiterer Vorteil für DUG ist, dass VAST Data den Datenspeicher rund um die Uhr (24/7) für DUG fernverwaltet. Dies ist das erste Mal, dass DUG davon profitiert hat, dass ein Anbieter die Appliance-Fernverwaltung für den Datenspeicher übernimmt. Bei Updates muss DUG keine Ausfallzeiten in Kauf nehmen und seine IT-Admins können sicher sein, dass VAST Data die Leistung und Verfügbarkeit der Datenspeicherumgebung lückenlos überwacht. Aus diesem Grund kann DUG die Datenspeicherkapazität ausbauen, ohne sein dafür zuständiges Team zu vergrößern.
Datenspeicher als strategischer Vermögenswert
Der erfolgreiche Einstieg von DUG in neue Marktsegmente wurde durch VAST Data Universal Storage – basierend auf Technik von Intel – möglich. Die Datenspeicherlösung von VAST Data verschaffte DUG Technology die Kapazität, Leistung und Zuverlässigkeit, um die Festplatten- und komplexe HPC-Dateispeichertechnik hinter sich zu lassen und seinen Kunden aus dem Erdöl- und Erdgassektor und anderen Wirtschaftsbereichen Funktionalität auf höchstem Niveau zu bieten. Ein rein auf Halbleitertechnik beruhender Datenspeicher deckt die konsistenten und vielfältigen Leistungsmerkmale ab, die es DUG ermöglichen, seine mandantenfähige Cloud-Umgebung effizient für den nächsten Wachstumsschub auszubauen. Die von VAST Data gebotene Datenspeichertechnik, Zuverlässigkeit und einfache Verwaltung hat den Datenspeicher zu einem strategischen Vorteil für DUG gemacht und es dem Unternehmen ermöglicht, seine weitergehenden Geschäftsziele besser zu erreichen.
Über DUG Technology
Mit mehr als 17 Jahren Erfahrung und Rechenzentren in Perth, Houston, London und Kuala Lumpur gehört DUG Technology zur Spitze der HPC-Anwender. Das Unternehmen kombiniert innovative Hardware- und Software-Lösungen, die es den Kunden ermöglichen, große und komplexe zusammenhängende Datenmengen zu nutzen. Seine Erfahrung in der Branche und starke Wurzeln in der angewandten Physik versetzen DUG Technology in die Lage, Kunden in direkter Form oder über seine DUG-McCloud-Plattform HPCaaS-Dienste auf dem neuesten Stand der Technik zu bieten.
Weitere Informationen
Lesen Sie das Exascale-NAS-Whitepaper von VAST Data.