Baidu erhöht das Tempo der Bandsicherung

Intel® Optane™ SSDs bieten schnelleres Caching für Bandsicherungssysteme sowie hohe Geschwindigkeit und Lebensdauer.

Auf einen Blick:

  • Baidu sichert enorme Mengen an „kalten“ Daten in Magnetbandbibliotheken.

  • Baidu stellte fest, dass mithilfe von Intel® Optane™ SSDs die Anforderungen in puncto Tempo mit weniger SSDs als bei NAND-Lösungen erfüllt werden konnten. Durch die Verwendung von Intel Optane SSDs als Cache-Datenträger für diese Datenknoten konnte Baidu die Anforderung an die Bandbreite bei einem Workload mit einer Mischung intensiver Lese- und Schreibvorgänge mit ausgezeichneter Lebensdauer erfüllen.

author-image

Von

Internet-Gigant Baidu sichert enorme Mengen an „kalten“ Daten in Magnetbandbibliotheken. Bandlaufwerke können Daten zwar schnell schreiben, doch die Daten müssen zuerst auf einem Cache-Laufwerk für die sequenzielle Übertragung bereitgestellt werden. Baidu nutzte dazu Festplattenlaufwerke (HDDs), die jedoch die Daten nicht annähernd so schnell liefern konnten wie das Bandlaufwerk schreiben kann. Für den Austausch seiner Cache-HDDs gegen schnellere Hardware evaluierte Baidu drei mögliche Optionen – zwei davon basierend auf NAND-Flash-Solid-State-Drives (SSDs) und eine mit Intel® Optane™ SSDs. Baidu stellte fest, dass die Lösung mit Intel Optane SSDs die Anforderungen an die Schnelligkeit mit weniger SSDs als bei den NAND-Lösungen erfüllte. Darüber hinaus konnte diese Lösung, anders als die NAND-Datenträger, auch durch hohe Lebensdauer überzeugen.

Baidu stieß bei der Verarbeitung neuer Kundendaten und der gleichzeitigen Duplizierung von Sicherungsdaten des Bandarchivs auf Probleme mit der Bandbreite und der Lebensdauer beim Schreiben. Intel Optane SSDs bieten mit hoher Bandbreite, hoher Lebensdauer, geringer Latenz und einfacher Wartung einen hervorragenden Nutzwert, was Baidu hilft, Innovationen bei der Bandarchivlösung zu intensivieren und dabei Kosten zu reduzieren und die Effizienz zu verbessern.“ – Ein Sprecher der Baidu Binghe Tape Library Archive Storage Group

Massive Bestände an „kalten“ Daten werden in Bandbibliotheken gespeichert

In den letzten Jahren haben Unternehmen durch die Digitalisierung und Nachverfolgung von mehr internen Abläufen, die Erfassung von mehr Kundendaten und die Einführung von mehr datenintensiven Anwendungen enorme Datenmengen angesammelt. Weil der Umfang der erzeugten und erfassten Daten weiter zunimmt, ist es immer schwieriger geworden, diese Informationsflut zu speichern und zu verwalten.

Die ganzen Daten einfach auf einem Speichermedium abzulegen, ist unpraktisch. Die verschiedenen verfügbaren Datenspeichermedien unterscheiden sich bezüglich ihrer Kosten, Kapazität, Leistungsfähigkeit und Lebensdauer, weshalb sie sich für unterschiedliche Arten von Daten eignen. Eine praktische Methode, um das jeweils beste Medium für das Speichern der Daten festzulegen, besteht darin, die Daten zuerst als „heiße“, „warme“ oder „kalte“ Daten zu klassifizieren. Die kältesten Daten können zur langfristigen Archivierung gut auf einem kostengünstigen Speichermedium wie einem Magnetband abgelegt werden.

Wie sich zeigt, können die meisten Geschäftsdaten letzten Endes als kalte Daten gespeichert werden (siehe Abbildung 1).1 Aus diesem Grund ist es unverzichtbar, für kalte Daten ein Speichermedium zu wählen, das nicht nur kostengünstig ist, sondern die Daten auch schnell genug schreiben kann, um mit dem hohen Tempo, in dem diese Art Daten erzeugt werden, mitzuhalten. Glücklicherweise können moderne Bandbibliotheken dank Technik wie Fibre Channel und Serial Attached SCSI (SAS) sehr schnell schreiben, was sie derzeit zur exzellenten Wahl für die Archivierung kalter Daten macht.

Abbildung 1: Die meisten gespeicherten Geschäftsdaten können als „kalt“ betrachtet werden. 2

Schnelle Bandbibliotheken benötigen schnelle Cache-Laufwerke

Die Leistung von Bandbibliotheken beim sequenziellen Schreiben und Lesen steigt weiter, um mit den wachsenden Datenmengen Schritt halten zu können. Aber selbst wenn Bandbibliotheken an sich durch schnelle Schreibvorgänge glänzen, so gibt es doch noch eine technische Hürde in einer auf Bandarchive bauenden Backup-Architektur, die oftmals verhindert, dass Daten mit der maximalen Rate in die Bibliothek geschrieben werden. Denn bevor die Sicherung der Daten auf Band erfolgt, müssen sie zunächst auf Datenknoten in einer Caching-Ebene gesammelt werden, um sie für das Schreiben auf das Bandmedium vorzubereiten (sequenziell zu organisieren), wie in Abbildung 2 dargestellt.

Die SAS-RAID-Festplatten für die Cache-Ebene in diesen Datenknoten können Lese- und Schreibvorgänge oft nicht schnell genug ausführen, um die Pipeline zu den Bandbibliotheken zu füllen, wodurch ein Engpass mit Verlangsamung der Datensicherung entsteht, was der potenziell hohen Übertragungsrate von Bandbibliotheken nicht gerecht wird.

Abbildung 2. Bandbibliotheken benötigen Datenknoten, um die Daten in sequenzieller Abfolge bereitzustellen und für die Sicherung vorzubereiten. Diese Architektur kann mehrere Datenströme verwalten – Eingang neuer Daten, Zugriff auf vorhandene Daten und Löschen alter Daten.

Baidu evaluiert Möglichkeiten für schnelles Caching

Baidu bekam ein Problem in Form eines Caching-Engpasses in seiner Bandsicherungsarchitektur zu spüren. Besonders zwei Umstände belasteten das System schwer und machten den Engpass deutlich:

  • Die Lösung des Unternehmens für autonome Autos erzeugte eine enorme Datenmenge durch die in einer Flotte von 300 Fahrzeugen installierten IoT-Sensoren (Internet der Dinge), die zu dem Zeitpunkt mehr als zwei Millionen Kilometer protokolliert hatten. Die meisten dieser IoT-Daten wurden als „kalt“ klassifiziert und über die Datenknoten zur langfristigen Ablage an die Bandsysteme geschickt.
  • Die Aufbewahrungsrichtlinien des Unternehmens sahen vor, dass auf Band gespeicherte Daten alle 3 bis 6 Jahre auf neue Bänder überspielt werden mussten, was die Verwendung von Cache-Laufwerken erforderlich machte. Die Last dieser Caching-Aufgabe, bei der ständig eine wachsende Menge archivierter Daten geschrieben und gelesen werden muss, offenbarte die Ineffizienz des Systems.

Auf der Ebene der „kalten“ Daten nutzten die Datenknoten von Baidu Festplattenlaufwerke (HDDs) als Cache vor der Archivierung auf Band. Zwar konnten die Bandbibliotheken mit Schreibgeschwindigkeiten von 600 MB/s aufwarten, doch die HDDs konnten nur mit 200 MB/s lesen, was die potenzielle Geschwindigkeit der Datensicherung auf ein Drittel reduzierte, wie in Abbildung 3 dargestellt.

Abbildung 3: Die Cache-Laufwerke der alten Backup-Architektur von Baidu verursachten einen Engpass.

Bei der Erwägung von Alternativen für seine Cache-Laufwerke hatte das Baidu-Team die spezifischen Anforderungen dieser Datenebene im Blick:

  1. Anforderungen an die Lesegeschwindigkeit: Die neuen Cache-Datenträger mussten mit einer Leseleistung von 600 MB/s der Schreibgeschwindigkeit der Bandbibliothek entsprechen, und das auch bei erheblicher Auslastung durch Schreibvorgänge.

  1. Anforderungen an die Geschwindigkeit beim simultanen Schreiben: Um die Schreibgeschwindigkeit des Bandlaufwerks der Kosteneffizienz wegen möglichst auf maximalem Level zu halten, mussten die Cache-Laufwerke in der Lage sein, neue Daten mindestens so schnell in den Cache zu schreiben wie die gecachten Daten aufs Band geschrieben werden konnten, also mindestens mit 600 MB/s.
  2. Anforderungen an die Lebensdauer bzw. Belastbarkeit: Die Bandbibliothek hat eine Speicherkapazität von 16 PB, und das Baidu-Team sah vor, dass die Cache-Datenträger drei Generationen von Bändern aushalten sollten. Um dieses Ziel zu erreichen, müsste die Lebensdauer der Cache-Datenträger für geschriebene 48 Petabyte (PBW, Petabytes written) ausgelegt sein.

Bewertung NAND-basierter Lösungen

Das Baidu-Team untersuchte zuerst NAND-basierte SSDs als Ersatz für die auf Festplatten basierenden Cache-Einheiten der Datenknoten. Ein Nachteil von NAND-basierten SSDs besteht darin, dass wahlfreie Schreibzugriffe (random write) für das Speichermedium im Hintergrund einen immensen Verwaltungsaufwand erfordern, der den Durchsatz pro SSD und dessen Lebensdauer erheblich reduzieren kann. Deshalb wurden zwei Konfigurationen mit mehreren NAND-SSDs bewertet: eine RAID0-Konfiguration mit 16 SSDs und Standard-Haltbarkeit und eine RAID0+1-Konfiguration mit 6 SSDs und mittlerer Haltbarkeit3.

Beide NAND-Lösungen erfüllten zwar die Lese- und Schreibanforderungen mit 600 MB/s, sie benötigten jedoch zu viele NVM-Express-Anschlüsse (NVMe), um die erforderliche Durchsatzrate zu erreichen, was die Wartung erschwerte. Außerdem zeigten Berechnungen ausgehend von den angegebenen Daten der Geräte, dass die beiden Konfigurationen mit 30,72 bzw. 36,75 PBW den gestellten Anforderungen an die Lebensdauer nicht entsprachen.

Herausforderung bestanden: hohe Geschwindigkeit und Haltbarkeit

Das Baidu-Team fand heraus, dass es mit Intel® Optane™ SSDs der Produktreihe DC P4800X als Cache-Einheit der Datenknoten die Datencache-Anforderungen der Lösung erfüllen konnte. Durch den Einsatz der Intel Optane SSDs (siehe Abbildung 4) erreicht die Lösung bei einer Auslastung von 600 MB/s durch wahlfreie Schreibzugriffe eine Leseleistung von 600 MB/s. Und ein besonders großer Vorteil von Intel Optane SSDs besteht im Gegensatz zu NAND-basierten SSDs in ihren konstant bleibenden Lesezugriffszeiten, unabhängig davon, wie sehr das SSD durch Schreibvorgänge belastet wird.

Abbildung 4: Mit gespiegelten Intel® Optane™ SSDs als Cache-Datenträger kann Baidu seine Anforderung an die Datensicherungslösung erfüllen.

Und mit einer Lebensdauer von 164 PBW übertrifft die Lösung auch bei weitem die geforderten 48 PBW. Mit dieser neuen Lösung ist Baidu in der Lage, in derselben Zeit dreimal so viele Daten zu sichern.

Intel Optane SSDs für schnelles Caching bei hoher Lebensdauer

Unternehmen stehen unter wachsendem Druck, Möglichkeiten zu finden, kalte Daten so schnell zu sichern, wie sie generiert werden. Bandbibliotheken bieten ausgezeichnete Datensicherungskapazität und Schreibgeschwindigkeit bei niedrigen Kosten, sie machen es aber auch notwendig, die Daten auf einem Datencache-Knoten zwischenzuspeichern und sequenziell zu organisieren, bevor sie auf Band geschrieben werden; und es sind diese Cache-Knoten, die häufig zum Engpass werden. Durch die Verwendung von Intel Optane SSDs als Cache-Datenträger für diese Datenknoten konnte Baidu die Anforderung an die Bandbreite bei einem Workload mit einer Mischung intensiver Lese- und Schreibvorgänge mit ausgezeichneter Lebensdauer erfüllen. Und mit dieser Lösung ist es Baidu nun möglich, dieselbe Datenmenge in 67 % kürzerer Zeit zu sichern als mit seiner vorherigen Lösung.4

Beim Einsatz in Datensicherungslösungen tragen Intel Optane SSDs für die Cache-Ebene auch bei intensiver Belastung mit Schreibvorgängen (1 GB/s – höher als die von Baidu benötigten 600 MB/s) zur Aufrechterhaltung einer stabilen und konstanten Leseleistung (600 MB/s) bei.5 Derweil verhilft die extrem hohe Belastbarkeit von Intel Optane SSDs mit 164 PBW und 60 Drive Writes per Day (DWPD) der Lösung zu einer langen Lebensdauer.

Wie dieses Praxisbeispiel zeigt, wird die Intel® Optane™ Technik auf innovative Weise eingesetzt, um große Probleme im Zusammenhang mit dem exponentiellen Datenwachstum aus der Welt zu schaffen.

Intel Optane SSDs erfüllen die Caching-Anforderungen von Baidu

  • 600 MB/s Leseleistung bei einer Auslastung von 600 MB/s durch (wahlfreie) Schreibzugriffe
  • Konstant bleibende Lesezugriffszeiten, unabhängig davon, wie sehr das SSD durch Schreibvorgänge belastet wird
  • 3-mal mehr Daten sichern bei hoher Lebensdauer

PDF herunterladen ›

Produkt- und Leistungsinformationen

1Laut Annahme der IDC für Prognosen handelt es sich bei 40 % der erfassten Daten um kommerzielle Daten und 60 % davon sind kalte Daten. Quelle: IDC-Whitepaper, gesponsert vom LTO Consortium, „Tape and Cloud: Solving Storage Problems in the Zettabyte Era of Data“, Juni 2019. asset.fujifilm.com/master/americas/files/2020-03/7bcc575d53cec43c1b68e78e94e7d895/Tape-and-Cloud-Solving-Storage-Problems.pdf.
2Laut Annahme der IDC für Prognosen handelt es sich bei 40 % der erfassten Daten um kommerzielle Daten und 60 % davon sind kalte Daten. Quelle: IDC-Whitepaper, gesponsert vom LTO Consortium, „Tape and Cloud: Solving Storage Problems in the Zettabyte Era of Data“, Juni 2019. asset.fujifilm.com/master/americas/files/2020-03/7bcc575d53cec43c1b68e78e94e7d895/Tape-and-Cloud-Solving-Storage-Problems.pdf.
3Konfigurationen: Standard-Haltbarkeit-Konfiguration: 16 Intel SSDs vom Typ DC P4510 für 30,72 PBW; Mittlere-Haltbarkeit-Konfiguration: 6 Intel SSDs vom Typ DC P4610 für 36,75 PBW.
4Ausgehend von den angegebenen Daten der Geräte konnte die vorherige Lösung mit einem Festplattenlaufwerk sequenziell organisierte Daten nur mit einer Rate von 200 MB/s an die Bandbibliothek übertragen, während die neue Lösung mit Intel Optane SSDs die Daten schnell genug liefern konnte, um die Anforderung von 600 MB/s zu erfüllen.
5164 PBW ist eine Spezifikation für die 1,5-TB-Version der Intel Optane SSD DC P4800X and Intel Optane SSD DC P4801X. Quelle: Intel. „Breakthrough Performance Expands Datasets, Eliminates Bottlenecks.“ Januar 2019. intel.com/content/dam/www/public/us/en/documents/product-briefs/optane-ssd-dc-p4800x-p4801x-brief.pdf.