HPC-Cluster der SFU ändert die Spielregeln in Forschung und KI

Der leistungsstarke HPC-Cluster „Cedar“ hat im kanadischen British Columbia immense Auswirkungen auf computergestützte Forschung, KI und Unternehmen.

Kurzübersicht:
In der Simon Fraser University (SFU) in British Columbia war ein HPC-Upgrade schon längst überfällig. Anfang 2017 installierte die Universität Cedar, einen Cluster mit 902 Rechenknoten, die mit jeweils zwei Intel® Xeon® Prozessoren E5-2683A mit 16 Kernen bestückt waren. Zum Zeitpunkt der Implementierung war Cedar Kanadas leistungsstärkste wissenschaftliche Ressource für Hochleistungsrechnen in der Forschung, auch Advanced Research Computing (ARC) genannt. Heute unterstützt der Cluster Forscher in einer Vielzahl von Bereichen, wie traditionelle Simulationsforschung, sozialwissenschaftliche Forschung und künstliche Intelligenz (KI).

Herausforderung
Vor 1999 führten Experten für computergestützte Forschung wie Martin Siegert an der Simon Fraser University (SFU) ihre eigenen Simulationen auf selbstgebauten Computern durch. Aber 1999 stellte die IT-Abteilung der Simon Fraser University Siegert ein, um ihren ersten zentralisierten Rechencluster aufzubauen. „Damals baute man noch Beowulf*-Cluster, indem man mit Desktop-PCs vergleichbare Systeme zusammenfügte, auf denen Forscher Simulationen ausführen konnten“, erklärte Siegert. „Wir haben damals ziemlich klein angefangen und sind seitdem stetig gewachsen.“

Der erste Cluster der Universität war ein System mit acht Rechenknoten. Der zweite wurde 2002 in Auftrag gegeben: ein 96-Knoten-Cluster mit Zweiprozessorservern. Das dritte System, das 2009 beauftragt wurde, war ein HPC-Cluster mit 160 Rechenknoten auf Basis von Intel Xeon Prozessoren 5430 mit je vier Kernen und InfiniBand* DDR-Architektur als Verbindung. Zwei Jahre später expandierte das Unternehmen mit zusätzlichen 256 Knoten, die mit je zwei Intel Xeon Prozessoren X5650 mit je sechs Kernen bestückt wurden. „Damals war dies der Stand der Technik“, fügtet Siegert hinzu. „Das System unterstützte all die verschiedenen Forschungsarbeiten an der Universität und im WestGrid.“

Während der nächsten fünf Jahre führten die Forscher ihre Berechnungen auf diesem System durch, während die Universität auf zusätzliche Mittel für den Aufbau einer neuen HPC-Ressource wartete.

Lösung
2016 wurde die SFU von Compute Canada, der nationalen Organisation für Advanced Research Computing (ARC), ausgewählt, in ihrem Rechenzentrum ein neues nationales HPC-System aufzubauen. Das war der erste Schritt, der zum Entwurf eines 902-Knoten-HPC-Clusters mit 1,3 PetaFLOPs führte, der bei seiner Einführung zum leistungsstärksten ARC-Cluster des Landes werden sollte.

„Nach einjährigem Betrieb stellten wir fest, dass wir bei Cedars Rechenkapazität mehr Bedarf hatten. Daher haben wir vor Kurzem weitere 30.720 Kerne angeschafft. Die zusätzlichen 640 Zweiprozessorknoten sind mit Intel® Xeon® Platinum 8160 Prozessoren mit je 24 Kernen ausgestattet.“ – Martin Siegert, Simon Fraser University (SFU), Experte für computergestützte Forschung

Das Design von Cedar
„Das neue System wurde so konzipiert, dass fast alles gut funktioniert“, erklärte Siegert. „Das System sollte ursprünglich den Namen GP2 (General Purpose System Number 2) erhalten. Letztendlich benannten wir es aber nach dem offiziellen Baum von British Columbia, dem Riesen-Lebensbaum Western Red Cedar. Da sein Design so ausgelegt ist, dass es von Forschern aus allen Bereichen der Wissenschaft verwendet werden kann, ist Cedar kein homogenes System.“

Cedar wurde durch Scalar Decisions und Dell geabut und hate verschiedene Arten von Knoten:

  • Traditionelle Rechenknoten – mit zwei Intel Xeon Prozessoren E5-2683 v4 mit je 16 Kernen und 4 GB Arbeitsspeicher pro Kern – bilden den „Arbeitstier“-Cluster. Hier findet der Großteil der Berechnungen statt.
  • „Fette“ Knoten mit bis zu 3 TB Arbeitsspeicher pro Knoten eignen sich für Workloads, z. B. Bioinformatik-Aufgaben, die nicht für massiv paralleles Rechnen ausgelegt sind.
  • GPU-Knoten mit vier NVIDIA* P100 Karten werden vorwiegend für Molekulardynamik- und KI-Anwendungen verwendet.
  • Ein 15 PB großes Datenspeichersystem steht dem gesamten Cluster zur Verfügung.

Die Intel® Omni-Path-Architektur (Intel® OPA) stellt die Verbindungen innerhalb des gesamten Clusters und zum Datenspeichersystem bereit.

„Der erste Entwurf sah ein System mit Inseln vor, wobei jede Insel 32 Knoten haben sollte“, sagte Siegert. „Innerhalb jeder Insel ist die Netztopologie nicht blockierend. Wir gingen davon aus, dass wir in der Lage sein würden, parallele Anwendungen innerhalb einer Insel mit bis zu 1.024 Kernen betreiben könnten.“

Während des Ausschreibungsprozesses erkannten Siegert und seine Kollegen, dass sie das Intel OPA-Netzwerk nutzen konnten, um eine weitaus bessere Infrastruktur zu entwerfen. „Das gesamte Cedar-System verwendet jetzt ein im Wesentlichen homogenes Netzwerk, das auf der Intel OPA basiert. Wir haben immer noch Inseln, aber die Netzwerkarchitektur führt zu einem Blockierungsfaktor von lediglich 2:1 zwischen den Inseln, was bei den meisten Anwendungen keine negativen Auswirkungen auf die Leistung hat. Noch wichtiger ist die Latenzzeit für die Anwendungen, und diese wird durch den Grad der Blockierung nicht beeinträchtigt. Daher können wir weitaus größere parallele Workloads – im Wesentlichen über die gesamten rund 30.000 Kerne – durchführen, als wir ursprünglich im Sinn hatten.“

Partner von Compute Canada und WestGrid bei einer Führung durch das neue SFU-Rechenzentrum in Burnaby, Kanada, wo der Cedar-Supercomputer steht. (Foto von Greg Ehlers mit freundlicher Genehmigung der Simon Fraser University)

Erweiterung mit der skalierbaren Intel® Xeon® Prozessorreihe
2018 erhielt Cedar ein Upgrade. „Nach einjährigem Betrieb stellten wir fest, dass wir bei Cedars Rechenkapazität mehr Bedarf hatten,“ sagte Siegert. Daher haben wir vor Kurzem weitere 30.720 Kerne angeschafft. Die zusätzlichen 640 Zweiprozessorknoten sind mit Intel Xeon Platinum 8160 Prozessoren mit je 24 Kernen ausgestattet.“ Diese Erweiterung ist größer als die Originalkonfiguration und resultiert in einem Cluster aus Intel Xeon Prozessoren mit mehr als 60.000 Kernen. Mit den größeren 48-Kern-Knoten ist es zudem möglich, größere Anwendungen mit geteiltem Speicher auf einem einzigen Knoten laufen zu lassen. Dies verschafft Forschern größere Ressourcen für die Ausführung massiv paralleler Aufgaben.

Ergebnisse
Cedar wird für ein breites Spektrum wissenschaftlicher Forschung eingesetzt, zum Beispiel für umfangreiche Molekulardynamiksimulationen, die in der Chemie für den Entwurf von Medikamenten durchgeführt werden, was fast ausschließlich zuerst am Computer erfolgt. Mit Hilfe der Bioinformatik werden komplexe Probleme der Genomanalyse und der Proteinfaltung untersucht. Materialwissenschaftler führen ebenfalls groß angelegte Simulationen durch. Weitere Bereiche sind die Sozialwissenschaften und KI. „Wir haben ein enormes Wachstum bei KI- und Deep-Learning-Anwendungen beobachtet“, erklärte Siegert, „etwa bei der Verarbeitung natürlicher Sprache.“ Das System steht landesweit allen Fakultäten und Forschern in allen Disziplinen zur Verfügung. Folglich verzeichnet die SFU ein enormes Spektrum an Anwendungen, die sich über alle Wissenschaftsbereiche sowie die Kunst und die Sozialwissenschaften erstrecken.

Ein interessantes Projekt, das laut Siegert herausragt, war kriminologische Forschung, die echte Polizeidaten analysierte. „Die Daten, die wir erhielten, waren Rohdaten. Zunächst mussten wir daher die anonymisieren, um eine Identifizierung zu verhindern. Dann erstellten wir die Datenbanken für die Forscher, und sie führten Analysen dieser Daten durch.“

Laut Siegert verwendet eine KI-Forschungsgruppe Cedar für den Aufbau eines Programms für die Übersetzung aus dem Englischen ins Französische. Sie nutzt KI auf den GPU-Knoten von Cedar, um den Übersetzer zu trainieren und seine Algorithmen zu verbessern. „Die Gruppe hat sogar mehrere Preise mit ihrem Übersetzungsprogramm gewonnen“, fügte Siegert hinzu. Der Intel OPA Interconnect unterstützt alle Mehrknoten-GPU-basierten Anwendungen.

Container und Clouds
Eine Voraussetzung für Cedar war, dass es eine OpenStack*-Cloud betreiben würde. Die Forscher benötigten eine Infrastruktur, in der sie ihre eigenen Umgebungen nutzen, ihre eigenen Betriebssysteme und Anwendungen laden und all ihre Workloads ausführen konnten. Um diese Benutzer zu unterstützen, partitionierten Siegert und seine Kollegen 128 Knoten für die Ausführung von OpenStack. Sie fügten diesen Knoten neben der Intel OPA auch 10-Gigabit-Ethernet* für OpenStack hinzu, so dass die Knoten dynamisch neu zugewiesen werden konnten, um in der Cloud oder im größeren HPC-Cluster zu laufen.

Cedar läuft auf der CentOS* 7 Distribution von Linux*. Allerdings arbeiten mehrere Forscher bei der SFU am Atlas-Projekt des CERN und verarbeiten hierfür riesige Datenmengen des Teilchenbeschleunigers Large Hadron Collider (LHC). Dieses Projekt führt seine Codes auf CentOS 6 aus. Um CentOS-6-Knoten auf Cedar zu unterstützen, entwickelte das Atlas-Team eine Methode zum Ausführen von Singularity*-Containern auf dem Cluster. Intels OPA-Fabric unterstützt den gesamten Cluster, sowohl die containerisierten Workloads als auch traditionelle Anwendungen.

Auswirkungen auf das Rechenzentrum
„Die Installation eines Systems in der Größe von Cedar an der Universität hatte einen ziemlichen Welleneffekt“, erklärte Siegert. „Forscher, die in den vergangenen Jahren versucht hatten, ihre Anwendungen auf kleineren Systemen laufen zu lassen, begannen mit der Nutzung von Cedar. Der Unterschied war riesig, und andere bemerkten dies ebenfalls, so dass wir in der Lage waren, Forscher aus anderen Bereichen anzuziehen, mit denen wir vorher nicht zusammengearbeitet hatten.“

Aber dies war erst der Anfang. Die Leute haben auch mitbekommen, was die SFU mit ihrem neuen Rechenzentrum vorhatte.

Um Cedar unterzubringen, baute die SFU ein völlig neues Rechenzentrum, wobei die Energieeffizienz eine Schlüsselanforderung war. Es hat einen Energienutzungsgrad von 1,07: Nur sieben Prozent der verbrauchten Energie sind für die Gebäudeversorgung nötig, zum Beispiel für Kühlpumpen.

Cedar ist der leistungsstärkste wissenschaftliche Supercomputer in Kanada und wird landesweit Forscher unterstützen. (Foto mit freundlicher Genehmigung der Simon Fraser University)

Forschungsgruppen in der ganzen Stadt realisierten, dass die SFU ein sehr großes und energieeffizientes Rechenzentrum hat. Und sie wollten einige ihrer Anwendungen mittels Co-Location-Ansatz dort unterbringen. Siegert zufolge war die Resonanz etwas überwältigend. „Für Unternehmen in dieser Stadt ist es eindeutig attraktiver, ihre Systeme hier unterzubringen, anstatt sie weit weg in einem anderen energieeffizienten Rechenzentrum zu betreiben.“

Zusammenfassung
Nachdem die Simon Fraser University mehrere Jahre lang ältere Computertechnik eingesetzt hatte, konnte sie 2017 für die universitäre Forschung in Kanada einen leistungsstarken Supercomputer installieren. Seitdem hat Cedar auch viele neue Nutzer unterstützt, da die Forschungen von traditionellen Bereichen wie Physik und Chemie auf beispielsweise Sozialwissenschaften und KI ausgeweitet wurden. Das energieeffiziente Design veranlasste sogar andere Unternehmen, ihre eigene Hardware im Rechenzentrum unterzubringen, um Betriebskosten zu sparen. Im April 2018 Cedar verdoppelte Cedar die Größe auf über 60.000 Kerne und schuf damit einen sehr leistungsstarken Cluster mit Intel Xeon Prozessoren und Intels OPA-Fabric, der kanadaweit für wissenschaftliche Forschungsprojekte zur Verfügung steht.

Cedar-Highlights:

  • Phase 1: 902 Knoten mit je 2 Intel® Xeon® Prozessoren E5-2683A (eingeführt im April 2017)
  • Phase 2: 640 Knoten mit je 2 Intel Xeon Platinum 8160 Prozessoren (eingeführt im April 2018)
  • Intel® Omni-Path-Architektur
  • Unterstützt traditionelle computergestützte Forschung, OpenStack*-Cloud und Singularity*-Container

 

Mehr über zugehörige Intel® Produkte

Skalierbare Intel® Xeon® Prozessoren

Fördern Sie verwertbare Erkenntnisse, verlassen Sie sich auf Hardware-basierte Sicherheit und stellen Sie dynamische Servicelieferung mit skalierbaren Intel® Xeon® Prozessoren bereit.

Weitere Informationen

Intel® Omni-Path-Architektur (Intel® OPA)

Die Intel® Omni-Path-Architektur (Intel® OPA) senkt die System-Gesamtbetriebskosten und sorgt zugleich für Zuverlässigkeit, starke Leistung und extreme Skalierbarkeit.

Weitere Informationen

Hinweise und Disclaimer

Durch Intel® Technik ermöglichte Funktionsmerkmale und Vorteile hängen von der Systemkonfiguration ab und können entsprechend geeignete Hardware, Software oder die Aktivierung von Diensten erfordern. Die Leistungsmerkmale variieren je nach Systemkonfiguration. Kein Computersystem bietet absolute Sicherheit. Informieren Sie sich beim Systemhersteller oder Einzelhändler oder auf https://www.intel.de. In Leistungstests verwendete Software und Workloads können speziell für die Leistungseigenschaften von Intel® Mikroprozessoren optimiert worden sein. Leistungstests wie SYSmark und MobileMark werden mit spezifischen Computersystemen, Komponenten, Softwareprogrammen, Operationen und Funktionen durchgeführt. Jede Veränderung bei einem dieser Faktoren kann abweichende Ergebnisse zur Folge haben. Für eine umfassende Bewertung Ihrer vorgesehenen Anschaffung, auch im Hinblick auf die Leistung des betreffenden Produkts in Verbindung mit anderen Produkten, sollten Sie zusätzliche Informationen und Leistungstests heranziehen.Ausführlichere Informationen finden Sie unter https://www.intel.de/benchmarks. Die Leistungsergebnisse basieren auf Tests, die zum Zeitpunkt, der in den Konfigurationen angegeben ist, durchgeführt wurden und berücksichtigen möglicherweise nicht alle öffentlich verfügbaren Sicherheitsupdates. Weitere Einzelheiten finden Sie in den veröffentlichten Konfigurationsdaten. Kein Produkt und keine Komponente bieten absolute Sicherheit. // Die beschriebenen Kostensenkungsszenarien sind als Beispiele dafür gedacht, wie ein bestimmtes Produkt mit Intel®-Technik unter den genannten Umständen und in der angegebenen Konfiguration zukünftige Kosten beeinflussen und Einsparungen ermöglichen kann. Die Umstände unterscheiden sich von Fall zu Fall. Intel übernimmt keine Gewähr für Kosten oder Kostensenkungen. // Intel hat keinen Einfluss auf und keine Aufsicht über die Benchmarkdaten Dritter oder die Websites, auf die in diesem Dokument Bezug genommen wird. Besuchen Sie die genannten Websites, um sich davon zu überzeugen, dass die angeführten Benchmarkdaten zutreffen. // Bei einigen Tests wurden die Ergebnisse unter Verwendung interner Analysen oder Architektursimulationen bzw. -modellen von Intel geschätzt oder nachempfunden. Sie dienen nur informatorischen Zwecken. Unterschiede in der Hardware, Software oder Konfiguration des Systems können die tatsächliche Leistung beeinflussen.