Appsbroker und ECCoE ermöglichen optimiertes HPC in der Cloud

Intel, Google und Appsbroker haben das Extreme Cloud Center of Excellence eingeführt, um Kunden bei der Migration von Anwendungen in die Cloud zu unterstützen.

Auf einen Blick:

  • Appsbroker arbeitet mit großen Unternehmen auf der ganzen Welt zusammen, um digitale Transformation in allen Bereichen ihrer Geschäftsfelder zu ermöglichen.

  • Das für das Extreme Cloud Centre of Excellence verwendete 384-Kern-Cluster basiert auf skalierbaren Intel® Xeon® Prozessoren mit einer Fabric mit Intel® Omni-Path Architektur und der Produktreihe Intel® SSDs für Rechenzentren. Die Lösung umfasst sowohl das Cluster als auch Dienste zur Evaluierung und Analyse aller Prozesse und der Integration, die für eine erfolgreiche Migration von firmeninternen zu Cloud-Betriebsabläufen erforderlich sind.

author-image

Von

Kurzübersicht
Angesichts der Tatsache, dass Unternehmen ihre Unternehmensanwendungen in die Cloud verlagern, erwägen auch IT-Organisationen eine Migration oder Erweiterung ihrer High-Performance-Computing (HPC)-Workloads in die Cloud. Die damit verbundenen Vorteile sind zwar beträchtlich, doch der Prozess kann für diejenigen, die nicht mit der Ausführung von Technical-Computing auf virtuellen Instanzen vertraut sind, kompliziert und überwältigend sein. Appsbroker*, Intel und Google haben das Extreme Cloud Center of Excellence (ECCoE) ins Leben gerufen, um Kunden bei der erfolgreichen Migration der richtigen Anwendungen in die Cloud zu unterstützen und so maximalen Nutzen zu erzielen.

Herausforderung
Viele High-Performance-Computing (HPC)-Workloads werden in die Cloud verlagert. Obwohl Organisationen weiterhin Simulations- und KI-Projekte auf hauseigenen Clustern durchführen, greifen Unternehmen auf die Cloud zurück, wenn der Bedarf an Rechenressourcen größer ist als die verfügbaren Rechenzyklen. Kleinere Unternehmen ohne HPC-Ressourcen verwenden ebenfalls eine Cloud-Lösung, um Projekte durchzuführen. Und die Projekte, die extern durchgeführt werden, werden immer umfangreicher.

Professor Andrew V. Sutherland des Massachusetts Institute of Technology (MIT) hat nachgewiesen, dass riesige Rechenaufgaben in der Cloud ausgeführt werden können. Im April 2017 brach Professor Sutherland einen Rekord, indem er ein 220.000-Kern-Cluster der Google Cloud Plattform für eine höchst rechenintensive Workload zusammenstellte. Im Juni 2018 brach er diesen Rekord mit einem 580.000-Kern-Cluster und bewies damit, dass gewaltige Rechenaufgaben nicht mehr ausschließlich von den größten Computern der Welt bewältigt werden können. Dadurch werden enorme Möglichkeiten für Unternehmen sichtbar, die aufzeigen, wie sie diese umfangreichen Aufgaben in der Cloud durchführen können.

Die Frage, die sich einem Unternehmen stellt, das diese Variante in Betracht zieht, lautet also, wie die Planung einer Migrationsstrategie und die Verlagerung der HPC-Workloads in die Cloud erfolgen soll.

Die Migration von High-Performance-Computing (HPC)-Workloads von einem firmeninternen Cluster in die Cloud kann entmutigend wirken. Sowohl für die IT als auch für Benutzer stellen sich zentrale Fragen: Werden meine Rechenaufgaben mehr Zeit in Anspruch nehmen? Ist meine Anwendung für die Cloud-Plattform, die ich verwenden möchte, verfügbar? Ist die Software für die Cloud optimiert? Werden mehr Kosten anfallen? Wie steht es um die Lizensierung der Anwendung? Kann ich einen Benchmark-Test durchführen, bevor ich mich entscheide — ohne für diese Dienstleistung bezahlen zu müssen? Wer wird die ganze Vorarbeit leisten, sodass ich eine Entscheidung treffen kann? Welchen Cloud-Serviceanbieter (Cloud Service Provider, CSP) sollte ich verwenden?

Das Ausführen von Aufgaben in der Cloud bietet viele Vorteile. Sie müssen nur für die Zeit zahlen, in der das Cluster genutzt wird. Bei den meisten Serviceanbietern erfolgt das Einrichten eines Clusters sehr schnell. Bei einigen Cloud-Serviceanbietern müssen Sie jedoch Ihre eigenen Experten und eigene Software miteinbringen sowie Ihr eigenes Benchmarking durchführen und während dieser Zeit für alles selbst aufkommen.

Mithilfe des Extreme Cloud Centre of Excellence (ECCoE) ändert sich all das.

Lösung
Das Extreme Cloud Centre of Excellence (ECCoE) ist im Rahmen einer Kooperation zwischen Google, Intel und Appsbroker entstanden, um Organisationen zu demonstrieren, wie Google Cloud zur Erweiterung einer HPC-Infrastruktur genutzt werden kann. ECCoE vereinfacht den Betrieb von HPC in der Cloud.

„ECCoE ist eine Testumgebung für High-Performance- und High-Throughput- (HPC/HTC)-Workloads. Das ECCoE stellt ein Expertenteam bereit, das im Rahmen eines Forschungszentrums Führungsqualitäten, Erfolgsmodelle und Workshops anbietet." — Geoff Newell, technischer Leiter bei Appsbroker Limited

Das ECCoE ermöglicht es der IT und den Benutzern, die gesamten Anforderungen, Prozesse und Nutzen der Anwendungsmigration zu verstehen, bevor sie sich auf ein neues HPC-Modell einlassen. Es ermöglicht den Weg zu einer schnellen Machbarkeitsstudie mit sämtlichen Benchmarking-Möglichkeiten hinsichtlich der in der Testumgebung verwendeten Anwendungen. Und es beinhaltet einen Gesamtbetriebskosten-Service, so dass Kunden über die Kosten von HPC in der Cloud informiert sind, bevor sie sich finanziell engagieren.

Appsbroker ist ein reiner Google-Premier-Partner; das Unternehmen arbeitet ausschließlich mit der Google Cloud Platform (GCP). Um das für das Benchmarking erforderliche Fachwissen bereitzustellen und erfolgreiche Migrationen in die Cloud zu ermöglichen, hat Appsbroker ein hauseigenes Cluster eingerichtet, auf dem die Kundenanwendungen ausgeführt werden. Anschließend vergleicht das Unternehmen die vor Ort erzielte Leistung mit der Leistung auf einem vergleichbaren „Google Cloud"-Cluster, bei gleicher Workload.

„Im Rahmen des ECCoE-Erlebnisses", erklärte David Young, Head of Architecture bei Appsbroker, „veranstaltet unser Expertenteam zunächst einen Workshop, bei dem die Kunden ihre Bedarfslage und die Erwartungen ihrer Benutzer verstehen lernen sowie die Anwendungen identifizieren, die sie momentan noch lokal und später dann in der Cloud ausführen möchten."

Nicht alle HPC-Anwendungen sind für eine Implementierung in der Cloud gut geeignet. Um zu wissen, welche lokalen Codes in ein externes Modell migriert werden können, ist mehr erforderlich als nur das Verschieben des Codes in eine einheitliche Cluster-Vorlage. Beispielsweise können bestimmte Anpassungen erforderlich sein, um eine speichergebundene Anwendung für GCP zu optimieren. Die Entwickler von Appsbroker stellen ihr langjähriges Fachwissen als Entwickler, ihr erstklassiges technisches Know-how und eine Programmbibliothek mit Erfolgsmodellen im Bereich der Cluster-Entwicklung für die Implementierung von Kunden-Workloads in die GCP zur Verfügung.

Das Extreme Cloud Centre of Excellence (ECCoE)
Das ECCoE ist Teil einer Investition dreier Unternehmen – Appsbroker, Intel und Google Cloud – die darauf abzielt, Benutzern von „Extreme Cloud"-Systemen zu helfen, ihre aktuellen Workloads mithilfe der neuesten Technologien von Intel und Google zu benchmarken. Das ECCoE, mit Sitz in der Geschäftsstelle von Appsbroker in Swindon (Vereinigtes Königreich), ist ein speziell für Kunden konzipiertes Forschungszentrum, in dem Techniker von Google, Intel und Appsbroker mit Kunden zusammenarbeiten können, um geeignete Workflows für einen Umstieg auf die Google Cloud Platform zu evaluieren, „Business Cases" zur Unterstützung des Umstiegs zu erstellen und Roadmaps auszuarbeiten, um mit den neuesten Technologien von Intel und Google Geschäftsergebnisse für die Kunden zu realisieren.

„Wir arbeiten eng mit unabhängigen Softwareherstellern wie ANSYS* und Altair sowie vielen Open-Source-Projekten zusammen, um die speziellen Anforderungen unserer Kunden an Anwendungen, die in der Cloud bereitgestellt werden, zu erfassen und genaustens zu verstehen", fügte Young bei. „Wir optimieren eine GCP-Konfiguration entsprechend ihrem jeweiligen Problemfall beim Ausführen einer Anwendung, wie z. B. Siemens STAR-CCM, und führen ein Benchmarking ihrer Aufgaben sowohl auf unserem internen 8-Knoten-Cluster als auch auf der GCP-Instanz durch." Das für ECCoE-Vergleiche verwendete interne vom IT-Anbieter XMA gebaute Cluster basiert auf Intel® Xeon® Platinum 8160 Prozessoren mit Intel® Omni-Path-Architektur (Intel® OPA)-Fabric und der Produktreihe Intel® SSDs für Rechenzentren (Intel® SSDs der DC-Reihe) als Datenspeicher.

„Bei der Migration von HPC in die Cloud geht es um mehr als nur um die Implementierung von Anwendungen", erklärte Newell. „Es geht um das gesamte Benutzererlebnis, die Einbindung der Cloud in den internen IT-Betrieb und um den finanziellen Aspekt. Sollte irgendein Aspekt den geschäftlichen oder betrieblichen Bereich beeinträchtigen, so gleicht die Kehrseite die Vorteile der Cloud bald wieder aus. Wir helfen dem Kunden während des gesamten Prozesses, um auf lange Sicht eine optimale Migration und Benutzererfahrung zu gewährleisten."

Ergebnis
Appsbroker hat Kunden dabei geholfen, ihre technischen Computing-Workloads auf die GCP zu verlagern. Die Bandbreite der Branchen umfasst die produzierende Industrie, die Technik und Entwicklung sowie den Finanzbereich. „Unsere Kunden führen CFD (Computational Fluid Dynamics), ,Monte Carlo'-Simulationen und andere Arten wissenschaftlicher Workloads aus", erläuterte Young.

Mit der im Rahmen des ECCoE angewandten Methodik entwickelt das Appsbroker-Team eine ganzheitliche, optimierte Hybrid-Implementierung, die sich mit den Herausforderungen befasst, die Unternehmen bei der Integration ihrer lokalen Systeme in die Google Cloud bewältigen müssen. Zu diesen Herausforderungen zählen unter anderem AD (Active Directory), DNS (Domain Name System), LDAP (Lightweight Directory Access Protocol), Einbruchmeldesysteme, zentralisierte Protokollierung und WAN (Wide Area Network)-Topologien.

Zusammenfassung
Appsbroker, Intel und Google lancierten das ECCoE, um Unternehmen dabei zu unterstützen, ihre HPC-Anforderungen für Anwendungen in GCP-Instanzen, die auf Servern mit skalierbaren Intel Xeon Prozessoren ausgeführt werden, zu optimieren. Die Appsbroker-Teams verfügen über fundiertes Fachwissen in puncto Cloud-Implementierung und der Optimierung von Instanzen hinsichtlich einer Reihe von Anwendungen auf der GCP. Appsbroker bietet Beratung, Benchmarking und Lösungen im Bereich Technik und Entwicklung für Kunden an, um ihnen bei der Migration ihrer Workloads in die Cloud behilflich zu sein. Das Benchmarking wird auf dem firmeneigenen und auf skalierbaren Intel Xeon Prozessoren basierenden Cluster, auf der Intel OPA sowie dem Datenspeicher der Intel SSDs der DC-Reihe durchgeführt.

Lösungskomponenten

  • Intel® Xeon® Platinum 8160 Prozessoren mit 384 Kernen
  • Intel® Omni-Path-Edge-Switch Serie 100
  • Acht Adapter basierend auf der Intel Omni-Path-Host-Fabric
  • Acht 960 GB Intel® SSDs der Reihe DC S4600