PhoenixNAP bringt skalierbare Leistung für die Metadatensuche

Rechenzentren und die steigende Anzahl der angeschlossenen Geräte erzeugen eine enorme Menge an Metadaten. Unternehmen brauchen einen effektiven Weg zur Speicherung dieser Daten und für deren Suchfunktion, damit sie ihre Infrastruktur verwalten und Sicherheitsverstöße erkennen können. Durch den Einsatz von phoenixNAP Elasticsearch* Service können Unternehmen jetzt ihre Daten im hochskalierten Objektspeicher statt im Arbeitsspeicher lagern, und zwecks Leistungssteigerung einen Cache-Speicher im persistenten Intel® Optane™ DC Speicher verwahren.

Herausforderung

• Die Speicherung und Analyse des wachsenden Metadatenvolumens kann schwierig sein, ist jedoch für die Verwaltung der IT-Investitionen und deren Sicherheit erforderlich.
• Die Logs sind möglicherweise auf verschiedene Cloud-Plattformen verteilt und machen es schwierig, ein ganzheitliches Bild eines bestimmten Ereignisses oder den Pfad eines bestimmten Benutzers nachzuvollziehen.
• Elasticsearch bietet eine Lösung, das Clustering erfordert jedoch laufendes Management und die Daten werden in der Regel im Flash-Datenspeicher gespeichert, was beim Anstieg der Datenmengen sehr kostspielig werden kann.

Lösung

• PhoenixNAP Elasticsearch Service ermöglicht es Unternehmen, unter Einsatz von Elasticsearch einfach in verschiedenen Cloud-Standorten nach Daten zu suchen.
• Mit der Vizion.AI-Technik kann der Dienst für 90 Prozent der Daten einen kostengünstigen Objektspeicher bieten.
• Die weiteren 10 Prozent sind ein Cache der Hot-Daten, die im persistentem Intel Optane DC-Speicher verweilen, wo sie in hoher Kapazität kostengünstig bei Arbeitsspeicher-ähnlichen Geschwindigkeiten abrufbar sind.

Ergebnisse

• Der Einsatz des nicht-flüchtigen Intel Optane DC Speichers als Cache konnte die Latenz um 80 Prozent senken und die Indexierung um ein Dreifaches beschleunigen im Vergleich zum Hosting der Lösung in einer Hyperscale Cloud-Umgebung.¹
• Die Kunden von PhoenixNAP können jetzt die in Rechenzentren von phoenixNAP gespeicherten Metadaten analysieren, ohne dazu die Datenhoheit eines neuen Anbieters prüfen zu müssen.
• Der Cloud-Service-Provider (CSP) kann den Service auch neuen Kunden anbieten, die einen leichteren Weg suchen, um Überblick über ihre Metadaten zu gewinnen.

Verwaltung riesiger Mengen an Metadaten

Bis 2025 wird das Internet der Dinge (IoT) pro Jahr etwa 79,4 Zettabyte an Daten generieren, vermutet das IDC.² Das sind etwa 79,4 Milliarden Terabyte. Zusätzlich zu den tatsächlich gewünschten Daten der Nutzer kommen die Metadaten: Daten über Daten, wie Protokolle. Diese werden erheblich zum Datenwachstum beitragen und wollen verwaltet und analysiert werden. Somit intensiviert sich ein Problem, dem Unternehmen bereits ausgesetzt sind: viele digitale Ressourcen, einschließlich Server und Anwendungen, generieren Protokolle, die analysiert werden wollen, um die IT-Leistung zu verwalten und die Sicherheit zu wahren.

Diese Protokolle befinden sich möglicherweise auf verschiedenen Cloud-Plattformen und einen einzelnen Datenpunkt finden zu wollen, kann eine Suche in enormen Datenmengen bedeuten. Oft müssen mehrere Datenpunkte korreliert werden. Wenn ein Sicherheitsereignis aufgetreten ist, sind Unternehmen möglicherweise bemüht, die Aktivitäten eines Nutzers innerhalb eines bestimmten Zeitraums schnell aus mehreren Protokollen nachzuvollziehen. Je länger dies dauert, um so größer ist das Risiko für das Unternehmen.

Viele Unternehmen suchen nach einer Cloud-nativen Plattform, auf der sie Metadatenprotokolle nicht nur lagern, sondern auch durchsuchen und analysieren können. Elasticsearch bietet sich als eine Option einer Open-Source Suchmaschine an, erfordert aber in der Regel, dass die Daten auf Flash-Medien gespeichert werden, was mit wachsender Datenmenge unhaltbar teuer werden kann.

Darüber hinaus kann die Bereitstellung und Verwaltung von Elasticsearch anspruchsvoll sein. Kunden müssen ggf. sechs virtuelle Rechner starten, bevor die ersten Daten eingehen, und müssen die Datenmengen überwachen, um Daten löschen oder das Cluster erweitern zu können, wenn es voll wird.

Die Daten in einer Hyperscale Cloud-Umgebung zu lagern, ist möglicherweise billiger, erfordert jedoch nach wie vor laufendes Cluster-Management und lässt kostengünstige Objektspeichermöglichekeiten außer acht.

Cloud-Kunden suchen nach einer Lösung, die diese Beschränkungen umgeht, um ihre Metadaten einfach und schnell zu analysieren und gleichzeitig die Rentabilität der Open-Source-Software zu nutzen.

Einführung des phoenixNAP Elasticsearch* Dienstes

CSP phoenixNAP arbeitete mit Vizion.AI und Intel, um den phoenixNAP Elasticsearch Dienst zu starten. Dieser Service ermöglicht es Unternehmen, Elasticsearch auf einfache Weise zu implementieren, um Daten in ihrer Multi-Cloud-Umgebung zu analysieren. Nur die am häufigsten gefragten 10 Prozent der Daten (hot Data) müssen im schnellen Datenspeicher gespeichert werden: der Rest kann in der Cloud im Objektspeicher gespeichert werden, wobei die Vizion.AI Lösung sich um Komprimierung, Deduplizierung, Verschlüsselung und die Übertragung in und aus der Cloud kümmert. Die Nutzung der Cloud für den Großteil der Metadaten kann die Kosten drastisch reduzieren, im Vergleich zur Verwahrung im Flash-Speicher.

Die Kunden können die Lösung über ein Portal bestellen. Das Setup und Management läuft automatisch, was einen der Problemfälle von Elasticsearch beseitigt. Da die Lösung statt auf einem verwalteten Infrastruktur-Pool auf einem Mikrodienst beruht, müssen die Kunden ihre Datenmengen nicht mehr überwachen. Der Objektspeicher im Backend skaliert die Daten, um Raum für eingehende Daten zu schaffen.

Abbildung 1 zeigt eine vereinfachte Architektur der Lösung. Kunden-Workloads laufen in Containern und werden mit Kubernetes* orchestriert. Da die Infrastruktur mit Hunderten von Kunden geteilt wird, gibt es erhebliche Größenvorteile im Vergleich zu einem Unternehmen, das seinen eigenen Elasticsearch-Cluster einrichtet.

Abbildung 1: Der phoenixNAP Elasticsearch* Service ermöglicht die Verwendung des Objektspeichers zur skalierbaren Datenspeicherung von Metadaten, die mit Elasticsearch durchsucht und analysiert werden können. Die Lösung basiert auf der skalierbaren Intel® Xeon® Prozessorreihe der 2. Generation mit persistentem Intel® Optane™ DC Speicher.

Die Muttergesellschaft Panzura* von Vizion.AI stellt eine Zwischenebene bereit, die eine Übersetzung zwischen den Speicherprotokollen im Rechenzentrum und dem cloud-nativen Objektspeicher bietet. Somit können Elasticsearch (und andere Anwendungen) im Rechenzentrum ohne Änderung auf den Cloud-Datenspeicher zugreifen. Der Cache im Arbeitsspeicher unterstützt dabei das Leistungsniveau.

Die zugrundeliegende Serverhardware wird von der skalierbaren Intel® Xeon® Prozessorreihe der 2. Generation mit persistentem Intel Optane DC Speicher betrieben. Der nicht-flüchtige Intel Optane DC Speicher ermöglicht es CSPs, eine einzigartige Kombination aus erschwinglich großen Kapazitäten mit nahezu arbeitsspeicherähnlicher Leistung zu ermöglichen. Physisch ist der persistente Intel Optane DC Speicher mit DRAM kompatibel und passt in die gleichen DIMM-Steckplätze. Der persistente Speicher wird zum Caching der gefragtesten 10 Prozent der Daten verwendet.

Die Virtualisierungsebene basiert auf VMware vSphere* 6.7, die den persistenten Intel Optane DC Speicher unterstützt.

Vizion.AI hat die Leistung der Infrastruktur bei Einsatz des nict-flüchtigen Arbeitsspeichers gemessen und sie mit der Geschwindigkeit seiner Software verglichen, die auf einem öffentlichen Cloud-Dienst lief. Das Unternehmen stellte fest, dass die PhoenixNAP Implementierung bei der Indexierung und Digitalisierung von Unterlagen 3-mal schneller war.¹. Außerdem wurde die Latenz um 80 Prozent reduziert, was besonders wichtig ist, wenn identifizierte Probleme in Echtzeit eine Vorfallreaktion auslösen.¹

„Das Gute am Einsatz von persistentem Intel Optane DC Speicher ist, dass er die App-Bereitstellung nicht stört“, sagte Geoff Tudor, stellvertretender Direktor und Geschäftsführer von Vizion.AI. „Wir sehen das Umfeld aus einer Kubernetes-Perspektive. Für uns ist der persistente Arbeitsspeicher eine weitere Datenspeicherressource. Wir gewinnen sofort an Effizienz, ohne dass wir den Code ändern müssen. Die Beschleunigung unserer Lösung durch den persistenten Intel Optane DC Speicher gibt uns die Chance, im Vergleich zum Hyperscale Cloud-Anbieter auch die Kosteneffizienz zu erzielen.“

Mit mehreren Hundert Kunden auf jedem Server trägt die verbesserte Indexierung neuer Inhalte und die verbesserte Latenz in Echtzeit zur Vermeidung von Serverkonflikten bei und verbessert die Kundenerfahrung.

In enger Partnerschaft mit Intel

Intel arbeitet eng mit phoenixNAP zusammen. Unter anderem assistiert es den Partner, neue Dienste zu entwickeln und zu vermarkten. Um die Markteinführung von phoenixNAP Elasticsearch Service zu beschleunigen, gab Intel phoenixNAP frühzeitig Zugriff auf den persistenten Intel Optane DC Speicher sowie die 2. Generation der skalierbaren Intel Xeon Prozessoren, die zur Verwendung vorgesehen sind. Intel stand bereit, um das Unternehmen bei der Implementierung der Lösung sowie bei der Feineinstellung zur Leistungssteigerung zu unterstützen.

Differenzierung mit Elasticsearch*

Der Cloud-Markt ist stark wettbewerbsorientiert. PhoenixNAP setzt sich von Hyperscale-Anbietern ab, indem es eine optimierte Cloud-Umgebung für spezielle Anwendungen, aufgewertet mit Mehrwert bietenden Diensten, anbietet.

Die Einführung des neuen Elasticsearch-Dienstes macht es phoenixNAP möglich, bestehenden Kunden einen Mehrwert zu bieten, indem es ihnen neue Wege der Datenverwaltung in ihrer phoenixNAP Cloud bereitstellt. Kunden, die Vorschriften einhalten müssen, müssen so ihre Datenhoheit bzw. die Sicherheit eines neuen Lösungsanbieters nicht validieren.

Der neue Service kann auch dazu beitragen, neue Umsatzchancen zu eröffnen. Da die Lösung in allen Cloud-Umgebungen läuft, muss der größte Teil der Daten nicht in einem phoenixNAP-Rechenzentrum gespeichert werden. Neue Kunden können die Daten wahlweise auf phoenixNAP migrieren oder die problemlose Bereitstellung von phoenixNAP nutzen, wenn sie auf Cloud-Speicherlösungen von Dritten zugreifen.

Vizion.AI und phoenixNAP arbeiten im Marketing der Lösung zusammen, um einen gemeinsamen Kundenstamm aufzubauen.

Erkenntnisse

Aus den Erfahrungen der Markteinführung des neuen Dienstes von phoenixNAP und Vizion.AI lassen sich mehrere Lehren ziehen.

• „Die Anpassung des Workload auf eine optimierte Infrastruktur kann enorme Einsparungen erzielen“, so Geoff Tudor. „Mit dem persistenten Intel® Optane™ DC Speicher schaffe ich mehr Verarbeitung, als das auf einer entsprechenden Hardware-Plattform ohne persistenten Arbeitsspeicher möglich wäre.“
• Code-Änderungen sind nicht unbedingt notwendig, um den persistenten Intel Optane DC Speicher zu nutzen. VMware vSphere* 6.7 ist z. B. direkt „out-of-the-box“ mit persistentem Arbeitsspeicher kompatibel.
• Intel arbeitet mit Cloud-Service-Anbietern (CSPs) zusammen, um ihnen bei der Erstellung und Einführung neuer Dienste zu helfen, zum Beispiel des neuen phoenixNAP Elasticsearch* Service.

Spotlight auf PhoenixNAP

Technische Komponenten der Lösung

• Elasticsearch*. Elasticsearch ist eine Open-Source-Software, die eine verteilte, mandantenfähige Full-Text-Suchmaschine bereitstellt.
• Panzura* Datenspeicher-Ebenen. Die Panzura-Datenspeicherebene stellt einen Zwischenraum zwischen den Speicherkontrollen des Rechenzentrums und den Cloud-Speicherprotokollen bereit, mit denen Rechenzentrumsanwendungen einen Cloud-Datenspeicher ohne Änderung verwenden können.
• Skalierbare Intel® Xeon® Prozessoren der 2. Generation Der skalierbare Intel Xeon Prozessor der 2. Generation bildet die Grundlage für eine leistungsstarke Rechenzentrumsplattform, mit der ein großer Schritt in Richtung Agilität und Skalierbarkeit getätigt wird. Dieser Prozessor ist eine echte Revolution: Er definiert Plattformkonvergenz völlig neu und bietet modernste Funktionen in den Bereichen Datenverarbeitung, Speicher, Arbeitsspeicher, Netzwerk und Sicherheit. Unternehmen und die Anbieter von Cloud- und Kommunikationsdiensten können nun ihre ehrgeizigsten digitalen Initiativen vorantreiben und dabei auf eine umfassende und vielseitige Plattform zurückgreifen.
• Persistenter Intel® Optane™ DC Speicher Der persistente Intel Optane DC Speicher ist eine neue Klasse von Arbeitsspeicher, der Kernen eine größere Kapazität vermittelt – Terabyte anstelle von Gigabyte pro Plattform – und auf den über den Speicherbus zugegriffen werden kann. Diese revolutionäre Technik liefert eine einzigartige Kombination aus erschwinglich umfangreicher Kapazität und Unterstützung der Datenbeständigkeit. Sie wird von skalierbaren Intel Xeon Prozessoren der 2. Generation unterstützt.

PDF herunterladen ›