Baidu erhöht das Tempo der Bandsicherung

Internet-Gigant Baidu sichert enorme Mengen an „kalten“ Daten in Magnetbandbibliotheken. Bandlaufwerke können Daten zwar schnell schreiben, doch die Daten müssen zuerst auf einem Cache-Laufwerk für die sequenzielle Übertragung bereitgestellt werden. Baidu nutzte dazu Festplattenlaufwerke (HDDs), die jedoch die Daten nicht annähernd so schnell liefern konnten wie das Bandlaufwerk schreiben kann. Für den Austausch seiner Cache-HDDs gegen schnellere Hardware evaluierte Baidu drei mögliche Optionen – zwei davon basierend auf NAND-Flash-Solid-State-Drives (SSDs) und eine mit Intel® Optane™ SSDs. Baidu stellte fest, dass die Lösung mit Intel Optane SSDs die Anforderungen an die Schnelligkeit mit weniger SSDs als bei den NAND-Lösungen erfüllte. Darüber hinaus konnte diese Lösung, anders als die NAND-Datenträger, auch durch hohe Lebensdauer überzeugen.

Massive Bestände an „kalten“ Daten werden in Bandbibliotheken gespeichert

In den letzten Jahren haben Unternehmen durch die Digitalisierung und Nachverfolgung von mehr internen Abläufen, die Erfassung von mehr Kundendaten und die Einführung von mehr datenintensiven Anwendungen enorme Datenmengen angesammelt. Weil der Umfang der erzeugten und erfassten Daten weiter zunimmt, ist es immer schwieriger geworden, diese Informationsflut zu speichern und zu verwalten.

Die ganzen Daten einfach auf einem Speichermedium abzulegen, ist unpraktisch. Die verschiedenen verfügbaren Datenspeichermedien unterscheiden sich bezüglich ihrer Kosten, Kapazität, Leistungsfähigkeit und Lebensdauer, weshalb sie sich für unterschiedliche Arten von Daten eignen. Eine praktische Methode, um das jeweils beste Medium für das Speichern der Daten festzulegen, besteht darin, die Daten zuerst als „heiße“, „warme“ oder „kalte“ Daten zu klassifizieren. Die kältesten Daten können zur langfristigen Archivierung gut auf einem kostengünstigen Speichermedium wie einem Magnetband abgelegt werden.

Wie sich zeigt, können die meisten Geschäftsdaten letzten Endes als kalte Daten gespeichert werden (siehe Abbildung 1).¹ Aus diesem Grund ist es unverzichtbar, für kalte Daten ein Speichermedium zu wählen, das nicht nur kostengünstig ist, sondern die Daten auch schnell genug schreiben kann, um mit dem hohen Tempo, in dem diese Art Daten erzeugt werden, mitzuhalten. Glücklicherweise können moderne Bandbibliotheken dank Technik wie Fibre Channel und Serial Attached SCSI (SAS) sehr schnell schreiben, was sie derzeit zur exzellenten Wahl für die Archivierung kalter Daten macht.

Abbildung 1: Die meisten gespeicherten Geschäftsdaten können als „kalt“ betrachtet werden. ²

Schnelle Bandbibliotheken benötigen schnelle Cache-Laufwerke

Die Leistung von Bandbibliotheken beim sequenziellen Schreiben und Lesen steigt weiter, um mit den wachsenden Datenmengen Schritt halten zu können. Aber selbst wenn Bandbibliotheken an sich durch schnelle Schreibvorgänge glänzen, so gibt es doch noch eine technische Hürde in einer auf Bandarchive bauenden Backup-Architektur, die oftmals verhindert, dass Daten mit der maximalen Rate in die Bibliothek geschrieben werden. Denn bevor die Sicherung der Daten auf Band erfolgt, müssen sie zunächst auf Datenknoten in einer Caching-Ebene gesammelt werden, um sie für das Schreiben auf das Bandmedium vorzubereiten (sequenziell zu organisieren), wie in Abbildung 2 dargestellt.

Die SAS-RAID-Festplatten für die Cache-Ebene in diesen Datenknoten können Lese- und Schreibvorgänge oft nicht schnell genug ausführen, um die Pipeline zu den Bandbibliotheken zu füllen, wodurch ein Engpass mit Verlangsamung der Datensicherung entsteht, was der potenziell hohen Übertragungsrate von Bandbibliotheken nicht gerecht wird.

Abbildung 2. Bandbibliotheken benötigen Datenknoten, um die Daten in sequenzieller Abfolge bereitzustellen und für die Sicherung vorzubereiten. Diese Architektur kann mehrere Datenströme verwalten – Eingang neuer Daten, Zugriff auf vorhandene Daten und Löschen alter Daten.

Baidu evaluiert Möglichkeiten für schnelles Caching

Baidu bekam ein Problem in Form eines Caching-Engpasses in seiner Bandsicherungsarchitektur zu spüren. Besonders zwei Umstände belasteten das System schwer und machten den Engpass deutlich:

• Die Lösung des Unternehmens für autonome Autos erzeugte eine enorme Datenmenge durch die in einer Flotte von 300 Fahrzeugen installierten IoT-Sensoren (Internet der Dinge), die zu dem Zeitpunkt mehr als zwei Millionen Kilometer protokolliert hatten. Die meisten dieser IoT-Daten wurden als „kalt“ klassifiziert und über die Datenknoten zur langfristigen Ablage an die Bandsysteme geschickt.
• Die Aufbewahrungsrichtlinien des Unternehmens sahen vor, dass auf Band gespeicherte Daten alle 3 bis 6 Jahre auf neue Bänder überspielt werden mussten, was die Verwendung von Cache-Laufwerken erforderlich machte. Die Last dieser Caching-Aufgabe, bei der ständig eine wachsende Menge archivierter Daten geschrieben und gelesen werden muss, offenbarte die Ineffizienz des Systems.

Auf der Ebene der „kalten“ Daten nutzten die Datenknoten von Baidu Festplattenlaufwerke (HDDs) als Cache vor der Archivierung auf Band. Zwar konnten die Bandbibliotheken mit Schreibgeschwindigkeiten von 600 MB/s aufwarten, doch die HDDs konnten nur mit 200 MB/s lesen, was die potenzielle Geschwindigkeit der Datensicherung auf ein Drittel reduzierte, wie in Abbildung 3 dargestellt.

Abbildung 3: Die Cache-Laufwerke der alten Backup-Architektur von Baidu verursachten einen Engpass.

Bei der Erwägung von Alternativen für seine Cache-Laufwerke hatte das Baidu-Team die spezifischen Anforderungen dieser Datenebene im Blick:

1. Anforderungen an die Lesegeschwindigkeit: Die neuen Cache-Datenträger mussten mit einer Leseleistung von 600 MB/s der Schreibgeschwindigkeit der Bandbibliothek entsprechen, und das auch bei erheblicher Auslastung durch Schreibvorgänge.

1. Anforderungen an die Geschwindigkeit beim simultanen Schreiben: Um die Schreibgeschwindigkeit des Bandlaufwerks der Kosteneffizienz wegen möglichst auf maximalem Level zu halten, mussten die Cache-Laufwerke in der Lage sein, neue Daten mindestens so schnell in den Cache zu schreiben wie die gecachten Daten aufs Band geschrieben werden konnten, also mindestens mit 600 MB/s.
2. Anforderungen an die Lebensdauer bzw. Belastbarkeit: Die Bandbibliothek hat eine Speicherkapazität von 16 PB, und das Baidu-Team sah vor, dass die Cache-Datenträger drei Generationen von Bändern aushalten sollten. Um dieses Ziel zu erreichen, müsste die Lebensdauer der Cache-Datenträger für geschriebene 48 Petabyte (PBW, Petabytes written) ausgelegt sein.

Bewertung NAND-basierter Lösungen

Das Baidu-Team untersuchte zuerst NAND-basierte SSDs als Ersatz für die auf Festplatten basierenden Cache-Einheiten der Datenknoten. Ein Nachteil von NAND-basierten SSDs besteht darin, dass wahlfreie Schreibzugriffe (random write) für das Speichermedium im Hintergrund einen immensen Verwaltungsaufwand erfordern, der den Durchsatz pro SSD und dessen Lebensdauer erheblich reduzieren kann. Deshalb wurden zwei Konfigurationen mit mehreren NAND-SSDs bewertet: eine RAID0-Konfiguration mit 16 SSDs und Standard-Haltbarkeit und eine RAID0+1-Konfiguration mit 6 SSDs und mittlerer Haltbarkeit³.

Beide NAND-Lösungen erfüllten zwar die Lese- und Schreibanforderungen mit 600 MB/s, sie benötigten jedoch zu viele NVM-Express-Anschlüsse (NVMe), um die erforderliche Durchsatzrate zu erreichen, was die Wartung erschwerte. Außerdem zeigten Berechnungen ausgehend von den angegebenen Daten der Geräte, dass die beiden Konfigurationen mit 30,72 bzw. 36,75 PBW den gestellten Anforderungen an die Lebensdauer nicht entsprachen.

Herausforderung bestanden: hohe Geschwindigkeit und Haltbarkeit

Das Baidu-Team fand heraus, dass es mit Intel® Optane™ SSDs der Produktreihe DC P4800X als Cache-Einheit der Datenknoten die Datencache-Anforderungen der Lösung erfüllen konnte. Durch den Einsatz der Intel Optane SSDs (siehe Abbildung 4) erreicht die Lösung bei einer Auslastung von 600 MB/s durch wahlfreie Schreibzugriffe eine Leseleistung von 600 MB/s. Und ein besonders großer Vorteil von Intel Optane SSDs besteht im Gegensatz zu NAND-basierten SSDs in ihren konstant bleibenden Lesezugriffszeiten, unabhängig davon, wie sehr das SSD durch Schreibvorgänge belastet wird.

Abbildung 4: Mit gespiegelten Intel® Optane™ SSDs als Cache-Datenträger kann Baidu seine Anforderung an die Datensicherungslösung erfüllen.

Und mit einer Lebensdauer von 164 PBW übertrifft die Lösung auch bei weitem die geforderten 48 PBW. Mit dieser neuen Lösung ist Baidu in der Lage, in derselben Zeit dreimal so viele Daten zu sichern.

Intel Optane SSDs für schnelles Caching bei hoher Lebensdauer

Unternehmen stehen unter wachsendem Druck, Möglichkeiten zu finden, kalte Daten so schnell zu sichern, wie sie generiert werden. Bandbibliotheken bieten ausgezeichnete Datensicherungskapazität und Schreibgeschwindigkeit bei niedrigen Kosten, sie machen es aber auch notwendig, die Daten auf einem Datencache-Knoten zwischenzuspeichern und sequenziell zu organisieren, bevor sie auf Band geschrieben werden; und es sind diese Cache-Knoten, die häufig zum Engpass werden. Durch die Verwendung von Intel Optane SSDs als Cache-Datenträger für diese Datenknoten konnte Baidu die Anforderung an die Bandbreite bei einem Workload mit einer Mischung intensiver Lese- und Schreibvorgänge mit ausgezeichneter Lebensdauer erfüllen. Und mit dieser Lösung ist es Baidu nun möglich, dieselbe Datenmenge in 67 % kürzerer Zeit zu sichern als mit seiner vorherigen Lösung.⁴

Beim Einsatz in Datensicherungslösungen tragen Intel Optane SSDs für die Cache-Ebene auch bei intensiver Belastung mit Schreibvorgängen (1 GB/s – höher als die von Baidu benötigten 600 MB/s) zur Aufrechterhaltung einer stabilen und konstanten Leseleistung (600 MB/s) bei.⁵ Derweil verhilft die extrem hohe Belastbarkeit von Intel Optane SSDs mit 164 PBW und 60 Drive Writes per Day (DWPD) der Lösung zu einer langen Lebensdauer.

Wie dieses Praxisbeispiel zeigt, wird die Intel® Optane™ Technik auf innovative Weise eingesetzt, um große Probleme im Zusammenhang mit dem exponentiellen Datenwachstum aus der Welt zu schaffen.

Intel Optane SSDs erfüllen die Caching-Anforderungen von Baidu

• 600 MB/s Leseleistung bei einer Auslastung von 600 MB/s durch (wahlfreie) Schreibzugriffe
• Konstant bleibende Lesezugriffszeiten, unabhängig davon, wie sehr das SSD durch Schreibvorgänge belastet wird
• 3-mal mehr Daten sichern bei hoher Lebensdauer

PDF herunterladen ›