Universität Hokkaido: HPC-Intercloud-Infrastruktur

Die skalierbaren Intel® Xeon® Prozessoren und die Intel® Omni-Path-Architektur (Intel® OPA) tragen zur Steigerung der Rechenleistung von HPC bei.

Auf einen Blick:

  • Das Information Initiative Center der Universität Hokkaido bietet im Rahmen der landesweiten HPC-Infrastruktur-Initiative HPC- und Cloud-Computing-Dienste für Forscher der Einrichtung und in ganz Japan an.

  • Zur Unterstützung fortschrittlicher Forschungsprojekte, bei denen umfassende dezentrale Systeme mit Hochgeschwindigkeitsnetzwerken in ganz Japan eingesetzt werden, entwickelte die Universität Hokkaido eine dezentrale Cloud-Infrastruktur mithilfe von skalierbaren Intel® Xeon® Prozessoren und Intel® Omni-Path-Architektur.

author-image

Von

Kurzübersicht
Das Information Initiative Center der Universität Hokkaido in Japan bietet Forschern der Einrichtung und in ganz Japan High-Performance-Computing (HPC)- und Cloud Computing-Dienste an. Die HPC-Ressourcen der Universität sind im Rahmen der High-Performance-Computing-Infrastruktur (HPCI)-Initiative mit anderen Supercomputern im ganzen Land verbunden. Um weiterhin Erkenntnisse und Innovationen in der computergestützten Forschung zu unterstützen, hat das Information Initiative Center die Forschungskapazität im Bereich des Supercomputing um das 23-fache erhöht1 mit Installation im Dezember 2018 von Grand Chariot (3,08 petaFLOPS) auf der Basis von Intel® Xeon® Gold 6148 Prozessoren und Polaire (0,87 petaFLOPS) auf der Basis von Intel® Xeon Phi™ 7250 Prozessoren – beide durch Intel® Omni-Path Architektur (Intel® OPA)-Fabric miteinander verbunden.

Herausforderung
Die Universität Hokkaido fördert computergestützte Forschung auf Weltklasseniveau, um so jene Probleme zu lösen, mit denen die Menschheit konfrontiert ist. Das Information Initiative Center der Universität übernimmt eine wichtige Rolle bei der Unterstützung dieser Aktivität, indem es Forschern groß angelegte Computing- und Netzwerkdienste zur Verfügung stellt. Zu den typischen Forschungsarbeiten, die auf den Supercomputern der Universität Hokkaido durchgeführt werden, gehören die Analyse von Ozeanen, elektromagnetischen Feldern, Wettersimulationen, computergestützter Chemie und mehr.

Seit 2011 unterstützt die Universität wissenschaftliche Studien im Bereich der Cloud-Dienste, um die Forschung für den praktischen Einsatz von Intercloud-Systemen zu fördern. Aus den Ergebnissen dieser Forschung und der Notwendigkeit, die Supercomputerkapazität auszubauen, entwickelte die Universität im Jahr 2018 ein interdisziplinäres Großrechnersystem – die so genannte High Performance Intercloud. Die Intercloud umfasst ein Supercomputersystem und ein Cloud-System.

Lösung
Der interdisziplinäre Supercomputer der Universität Hokkaido umfasst zwei Cluster mit insgesamt nahezu vier petaFLOPS theoretischer Leistung.2 Um Supercomputing-Anwendungen in diversen wissenschaftlichen Bereichen zu unterstützen, setzte die Universität Hokkaido einen 3,08-petaFLOPS-Cluster namens Grand Chariot ein. Der Supercomputer verfügt über 1004 Knoten auf Basis von Fujitsu PRIMERGY* CX2550 mit Intel Xeon Gold 6148 Prozessoren (40 Kerne/Knoten). Grand Chariot belegte im November 2018 Platz 95 der Top500.3 Darüber hinaus hat das Information Initiative Center angesichts des aktuellen Trends im Bereich der HPC-Technologie einen Cluster mit 288 Knoten namens Polaire eingerichtet. Es verwendet Fujitsu PRIMERGY* Server mit Intel Xeon Phi 7250 Prozessoren. Polaire wird zur Entwicklung eines fortschrittlichen Simulationscodes verwendet, der Prozessoren mit mehreren Kernen effizient nutzen soll.

Beide Cluster sind durch eine Intel OPA-Fabric mit 100 Gbit/s miteinander verbunden und werden von einem Data-Direct-Networks-16-Petabyte-Lustre*-Speichersystem unterstützt. Jeder Knoten innerhalb des Grand Chariot enthält zwei Adapter basierend auf der Intel OPA-Host-Fabric, um erhöhte Injektionsbandbreiten zu unterstützen und eine fortlaufende Einzelvorgangsausführung zu gewährleisten, sollte ein Switch ausfallen.

Interdisziplinäre Supercomputer-Cluster: Grand Chariot und Polaire

Zur Unterstützung fortschrittlicher Forschungsprojekte, bei denen umfassende dezentrale Systeme mit Hochgeschwindigkeitsnetzwerken in ganz Japan eingesetzt werden, entwickelte die Universität Hokkaido eine dezentrale Cloud-Infrastruktur, die sich vom Rechenzentrum des Information Initiative Center bis nach Kyushu erstreckt. Das dezentrale Intercloud-System umfasst Servergruppen, die in der Universität Hokkaido, der Universität Tokio, der Universität Osaka und der Universität Kyushu installiert sind. Im Kitami Institute of Technology wurde ein Archiv-Speicher installiert. Die Cloud-Server sind intern über ein 25-Gbit/s-Ethernet*-Netzwerk miteinander verbunden. Die gesamte Cloud ist mit Japans Science Information Network (SINET5) verbunden.

Das Cloud-System verwendet 71 auf Intel® Xeon® Gold 6138 Prozessoren basierende Server. Jede Servergruppe ist so konfiguriert, dass sie verschiedene Arten von Workloads und Anwendungsfällen unterstützt. Benutzer können einen Bare-Metal-Server mit allen auf der Plattform vorhandenen Ressourcen zur Ausführung ihrer Anwendungen anfordern. Es sind zudem virtuelle Umgebungen verfügbar, um isolierte virtuelle Maschinen zu erzeugen. Die Benutzer können die von ihnen benötigte Menge an Ressourcen auswählen, woraufhin das Intercloud-System die Umgebung für ihre Gebrauchszwecke bereitstellt. Forscher und Studenten können für GPU-basierte Anwendungen einen physischen Server mit zwei GPUs anfordern. Die Vielfalt der konfigurierbaren Umgebungen bietet den Benutzern eine große Auswahl an möglichen Plattformen, auf denen sie ihre Workloads ausführen können.

Universität Hokkaido - Intercloud-Server

Ergebnisse
Dadurch, dass die Supercomputer- und Cloud-Systeme nahe beieinander liegen, weist die Infrastruktur besondere Merkmale auf. Sie eignet sich besonders für die Zusammenarbeit der Internet of Things (IoT)-Technik und der Analyse von Sensordaten. Im Information Initiative Center geht man davon aus, dass die fortschrittliche Forschung eine derartige Zusammenarbeit der Bereiche IoT, Analyse und maschinelles Lernen wirksam einsetzen wird.

Zusammenfassung

  • Intel Xeon Gold 6148 Prozessoren (insgesamt 40.160 Kerne)
  • Intel Xeon Phi 7250 Prozessor (insgesamt 19.584 Kerne)
  • Intel Xeon Gold 6138 Prozessor (insgesamt 2.840 Kerne)
  • Intel Omni-Path-Architektur-Fabric (100 Gbit/s)

Produkt- und Leistungsinformationen

1Die Tests wurden von der Universität Hokkaido am 22. Dezember 2018 abgeschlossen. Basierend auf der theoretischen Höchstleistung von 3,08 + 0,87 pF, die unter https://www. hucc.hokudai.ac.jp/de/supercomputer/sc-overview/ für beide Systeme aufgeführt ist, und der Top500-Leistung des vorherigen Systems (0,168907 pF), die unter https://www.top500.org/system/177462 aufgeführt ist. Vorherige Computerkonfiguration siehe http://www.hitachi.co.jp/New/cnews/month/2011/10/1031. html. Grand Chariot: Systemkonfiguration – 3,08 pFLOPS: 1004 Knoten. PRIMERGY CX2550 M4, PRIMERGY CX400 M4, Intel Xeon Gold 6148 Prozessoren (20 Kerne/40 Kerne pro Knoten), 384 GB, 240 GB SSD, Intel OPA-Fabric mit 100 Gbit/s. Polaire: Systemkonfiguration – 0,87 pFLOPS: 288 Knoten. PRIMERGY CX1640 M1, PRIMERGY CX600M1, Intel Xeon Phi 7250, 16 GB MCDRAM (96 GB insgesamt), 64 GB SATA, Intel OPA mit 100 Gbit/s. Vorherige Systemkonfiguration – 170 teraFLOPS: 114 Knoten. Hitachi BS2000 Server, Intel® Xeon® Prozessor E7-8870, 128 GB, 10 Gbit/s Ethernet; Hitachi SR16000 M1 Server, Power7* Prozessor.
2Die Tests wurden von der Universität Hokkaido am 22. Dezember 2018 abgeschlossen. Basierend auf der theoretischen Höchstleistung von 3,08 + 0,87 pF, die unter https://www. hucc.hokudai.ac.jp/de/supercomputer/sc-overview/ für beide Systeme aufgeführt ist, und der Top500-Leistung des vorherigen Systems (0,168907 pF), die unter https://www.top500.org/system/177462 aufgeführt ist. Vorherige Computerkonfiguration siehe http://www.hitachi.co.jp/New/cnews/month/2011/10/1031. html. Konfiguration des Systems Grand Chariot, 3,08 pFLOPS: 1004 Knoten. PRIMERGY CX2550 M4, PRIMERGY CX400 M4, Intel Xeon Gold 6148 Prozessoren (20 Kerne/40 Kerne pro Knoten), 384 GB, 240 GB SSD, Intel OPA-Fabric mit 100 Gbit/s. Polaire: Systemkonfiguration – 0,87 pFLOPS: 288 Knoten. PRIMERGY CX1640 M1, PRIMERGY CX600M1, Intel Xeon Phi 7250, 16 GB MCDRAM (96 GB insgesamt), 64 GB SATA, Intel OPA mit 100 Gbit/s. Vorherige Systemkonfiguration – 170 teraFLOPS: 114 Knoten. Hitachi BS2000 Server, Intel® Xeon® Prozessor E7-8870, 128 GB, 10 Gbit/s Ethernet; Hitachi SR16000 M1 Server, Power7* Prozessor.