Kurzübersicht:
Leibniz-Rechenzentrum (LRZ), University College London (UCL) und andere Forschungseinrichtungen verfolgen größer angelegte Ansätze in ihrer Verwendung des SuperMUC-NG Supercomputers und erwarten weitere Erfolge für die zukünftige Simulation von naturgetreuen Modellen der menschlichen Anatomie mit noch fähigeren Maschinen. („NG“ steht für „Next Generation“) Insbesondere zwei damit zusammenhängende Leitinitiativen, die Teil des riesigen European CompBioMed Centre of Excellence sind, nämlich HemeLB und die gleichzeitigen Virtual Human-Projekte. Diese Bemühungen haben gezeigt, dass sie die Dynamik des Blutflusses in 3D-Gefäßsimulationen mit einer 190-fachen starken Skalierungs-Beschleunigung der HemeLB-Simulation auf SuperMUC-NG1 erfassen können und die Möglichkeit bieten, diese Daten auf SuperMUC-NG mit Intel® OSPRay Studio fotorealistisch zu visualisieren, das Teil des Intel® oneAPI-Toolkits ist.2
SuperMUC-NG. (Bildquelle: Veronika Hohenegger für LRZ)
Herausforderung
Berechnungsmethoden auf der Basis der menschlichen Biologie erreichen nun ihren erwarteten Reifegrad im biomedizinischen Bereich. Sie machen prädiktive Modelle für Gesundheit und Krankheit zunehmend für die klinische Praxis relevant, indem sie einen personalisierten Aspekt für die Behandlung bereitstellen.3 CompBioMed ist ein von der europäischen Kommission durch H2020 gefördertes Centre of Excellence, das sich auf die Verwendung und Entwicklung von Berechnungsmethoden für biomedizinische Anwendungen konzentriert. LRZ, das an CompBioMed teilnimmt, ist eines der drei nationalen Supercomputing-Zentren im Gauss Centre for Supercomputing (GCS) – Deutschlands wichtigste Supercomputing-Institution.
Die LRZ-Leitinitiativen verwenden SuperMUC-NG, um zu zeigen, dass es in der Tat möglich ist, die 3D-Blutfluss-Modellierung in realistischenem menschlichen Blutgefäßsystem zu skalieren und die simulierten Daten effektiv zu visualisieren. Eine volle 3D-Modellierung ermöglicht es, lokale Strömungsfunktionen zu identifizieren, die bei der Verwendung von niedrigeren dimensionalen Modellen nicht möglich sind.4 Die Verwendung eines 3D-Modells erlaubt auch die exakte Simulation der Blutgefäße eines Individuums.4
Wie die CompBioMed-Website bemerkte: „Herz-Kreislauf-Erkrankungen machen die Hälfte der plötzlichen Tode (Sudden Death Syndrome) in Europa aus; Verbesserungen in der Patientenrisiko-Stratifizierung und Vorhersage von klinischen Interventionen sind sowohl dringend erforderlich als auch schwierig.“5 Das CompBioMed Centre of Excellence versucht, auf HPC basierende Simulationen mit hoher Treue durchzuführen, mit dem Ziel, die klinische Entscheidungshilfe innerhalb sehr kurzer Zeiträume zu ermöglichen (oft Minuten, Stunden oder nur wenige Tage).5
Lösung – Fotorealistische Blutfluss-Simulation und -Visualisierung beim Menschen
LRZ nutzt den bestehenden SuperMUC-NG, um die Machbarkeit der Modellierung für die Dartsellung beim Menschen zu demonstrieren. Dies, gekoppelt mit der fotorealistischen Visualisierung mit dem Intel oneAPI Rendering Toolkit auf SuperMUC-NG bringt die Forschungsbemühungen voran, um den Bluttfluss in den menschlichen Blutgefäßen detailliert zu visualisieren.
Fotorealistische Blutfluss-Simulation und -Visualisierung beim Menschen
Sowohl HemeLB als auch das Projekt Virtual Human nutzten den aktuellen SuperMUC-NG Supercomputer, der den 26. und 37. Platz in der Top500-Liste im Juni 2022 und den High-Performance Conjugate Gradients (HPCG) Benchmarks erreicht.6
Dieses Intel-basierte System bietet Forschern 6.336 Intel® Xeon® Platinum 8174 Prozessoren-basierte dünne Rechenknoten mit 96 GB Arbeitsspeicher pro Knoten und 144 fetten Knoten, von denen jeder 768 GB Arbeitsspeicher bietet. Kumulativ bietet das SuperMUC-NG-System über 300.000 Prozessorkerne für die wissenschaftliche Forschung. Das System verwendet auch ein innovatives direktes Warmwasser-Kühlsystem mit dem eine extrem effiziente freie Kühlung ohne Kühlflüssigkeiten möglich ist und die Abwärme vom Rechenzentrum wiederverwendet.7
HemeLB
Um die Blutflussdaten eines Menschen im menschlichen Blutgefäßsystem zu generieren, führte das Team die HemeLB-Software in großem Umfang auf SuperMUC-NG aus.8 HemeLB ist ein Open-Source-Code für die Lattice-Boltzmann-Methode, der im HPC CompBioMed Centre of Excellence for Computational Biomedicine im Rahmen von EU H2020 HPC entwickelt wurde. Die Software ist für die Simulation eines großflächigen dreidimensionalen Flusses von Flüssigkeiten in komplexen dünnflächigen Geometrien konzipiert. HemeLB ist ein verteilter MPI-Code in C++ von UCL. Das kann kostenlos von der HemeLB Website heruntergeladen werden.
Abbildung 1: Starkes Skalierungsverhalten von 864 auf über 100.000 MPI-Prozesse auf SuperMUC-NG. (Quelle https://pop-coe.eu/blog/190x-strong-scaling-speed-up-of-hemelb-simulation-on-supermuc-ng)
Laut dem HemeLB-Blog untersuchte das Team das starke Skalierungsverhalten des Codes von 864 auf 309.696 MPI-Prozessen, bei dem ein Prozessorkern einen MPI-Prozess ausführt. Die gemeldete 190-fache Beschleunigung zeigte, dass der Code eine Skalierbarkeit von 80 % erzielen kann, wie in Abbildung 1 gezeigt.8
„Die erste Leistungsanalyse hat zur größten bekannten praktischen Bereitstellung der Funktion Application Performance Snapshot von VTune Profiler geführt.“ —Jon McCullough (UCL), et al., Visualisierung der Blutfluss-Simulation im menschlichen Maßstab mit Intel OSPRay Studio auf SuperMUC-NG
Beim Testen des HemeLB Codes bei Ausführung auf SuperMUC-NG im großen Maßstab wird in der Intel DevSummit Präsentation Visualisierung der Blutfluss-Simulation im menschlichen Maßstab mit Intel OSPRay Studio auf SuperMUC-NG von Jon McCullough (University College London) et al. festgestellt: „Die erste Leistungsanalyse hat zur größten bekannten praktischen Bereitstellung der Funktion Application Performance Snapshot von VTune Profiler geführt.9
Der virtuelle Mensch (The Virtual Human)
Das Projekt Virtual Human nutzt SuperMUC-NG als Teil der Bemühung, die erste umfassende und wiedergabetreue 3-D-Simulationen der Blutströmung in menschlichen Blutgefäßen durchzuführen. Unter der Leitung von Peter Coveney im Centre for Computational Science (CCS) am University College London (UCL) umfasst das Projekt die Bemühungen von Kollegen und Mitarbeitern sowohl aus Europa als auch den USA. Zum Team gehören UCL, Leibniz Supercomputing Centre (LRZ), Jülich Supercomputing Centre (JSC), die IT’IS Foundation und die University of Tennessee in Chattanooga. LRZ ist ein zentraler Partner bei diesem Projekt.10
Abbildung 2: Der HemeLB-Anwendungsfall für die Modellierung des Unterarms. (Quelle: https://www.hpccoe.eu/2021/03/17/compbiomed-strong-scaling-performance-for-human-scale-blood-flow-modeling/)
Eine der Motivationen hinter dem Projekt Virtual Human ist es, Chirurgen ein Werkzeug zur Entwicklung von hochauflösenden Blutstromsimulationen zu erstellen, bevor sie an einem Patienten operieren. Bislang konnte das Team den Blutfluss durch eine arteriovenöse Fistel in den Gefäßen des linken Unterarms simulieren.11 Dies ist ein Verfahren, bei dem der Chirurg eine große Arterie künstlich mit einer Vene verbindet, um den Blutfluss durch die Vene zu erhöhen, um die Dialyse zu unterstützen. Während ihrer Präsentation am Stand von Intel auf ISC’21 zeigte Elisabeth Mayer eine Echtzeit-Untersuchung unter Verwendung von Unterarmdaten, die auf einem Knoten von SuperMUC-NG ausgeführt wurden. Diese Arbeit wurde auch als einer der sechs Finalisten im SciVis Showcase auf SC21 anerkannt.12
Die Gesamtstruktur des Projekts und die vorläufigen Ergebnisse sind in Abbildung 3 (unten) dargestellt. Das Open Source Intel OSPRay Studio, das im Intel oneAPI Rendering Toolkit enthalten ist, und auf SuperMUC-NG ausgeführt wird, ist eine zentrale Softwarekomponente im Workflow Virtual Human. Laut Mayer nutzt HemeLB einen Entwicklungszweig des Intel oneAPI Rendering Toolkit, um ein E/A-Plugin zu erstellen, das Volumendaten direkt dem Arbeitsspeicher zuweist, mit der Intel® Open Volume Kernel Library (Intel® Open VKL), ebenfalls Teil des Intel oneAPI Rendering Toolkit.
Abbildung 3: Gesamtstruktur des Projekts Virtual Human. (Quelle LRZ)
Ergebnis
Der Erfolg der Projekte HemeLB und Virtual Human zeigt, dass die LRZ-Forscher wissenschaftlich wichtige Arbeit leisten konnten und eine Spitzenleistung in großem Umfang bei der Simulation und Modellierung erzielen können, wenn das aktuelle SuperMUC-NG-System verwendet wird.13
„Im Kern aller LRZ-Aktivitäten steht der Benutzer. Es ist unsere oberste Priorität, Forschern die Ressourcen und Services bereitzustellen, die sie benötigen, um in ihren wissenschaftlichen Bereichen hervorragende Leistungen zu erzielen. In den letzten Jahren haben wir beobachtet, dass unsere Benutzer nicht nur für die klassische Modellierung und Simulation auf unsere Systeme zugreifen, sondern zunehmend für die Datenanalyse mit KI-Methoden.“ —Prof. Dr. Dieter Kranzlmüller
Bei LRZ bemerkt Prof. Dr. Dieter Kranzlmüller: „Im Kern aller LRZ-Aktivitäten steht der Benutzer. Es ist unsere oberste Priorität, Forschern die Ressourcen und Services bereitzustellen, die sie benötigen, um in ihren wissenschaftlichen Bereichen hervorragende Leistungen zu erzielen. In den letzten Jahren haben wir beobachtet, dass unsere Benutzer nicht nur für die klassische Modellierung und Simulation auf unsere Systeme zugreifen, sondern zunehmend für die Datenanalyse mit KI-Methoden.”14
„Wir verwenden die neuen skalierbar Intel Xeon Prozessoren der 3. Generation für Intel DAOS Speichersysteme für extrem anspruchsvolle KI-Workloads, die einen Speicher mit sehr geringer Latenz benötigen, und wir planen, persistenten Intel Optane Speicher der 200-Reihe zu verwenden, um das System auszuführen. Wir freuen uns, unser neues Intel System der 3. Generation in Betrieb zu nehmen.“ —Prof. Dr. Dieter Kranzlmüller, Direktor, LRZ
Implementierung von Phase 2 von SuperMUC-NG
Um Forscher weiterhin mit führenden Ressourcen zu unterstützen, welche die erhöhten Anforderungen für Arbeitsspeicher und Prozessor für KI, ML, HPDA und HPC-Workloads erfüllen, wird LRZ Phase 2 von SuperMUC-NG implementieren. Das bevorstehende Upgrade umfasst 240 Knoten, die mit dem skalierbaren Intel® Xeon® Prozessor der 4. Generation (Codenamen Sapphire Rapids) und Intel® Data Center GPU (Codenamen Ponte Vecchio) ausgestattet sind, die in Lenovos künftiger SD650-I v3 Serverplattform integriert sind. Der zusätzliche Speicherplatz von einem Petabyte wird Intel verteilten asynchronen Objektspeicher (DAOS) mit skalierbaren Intel Xeon CPUs der 3. Generation und persistentem Intel® Optane™ Speicher der 200-Reihe verwenden.
Zusammenfassung
HemeLB und Virtual Human sind nur zwei führende Workloads, welche die wissenschaftliche Führungsposition des LRZ hervorheben. Dies geschieht durch ihre Teilnahme am European CompBioMed Centre of Excellence sowie durch den Fotorealismus, der mit dem Intel oneAPI Toolkit auf skalierbaren Intel Prozessoren möglich wird.
- Skalierbare Anwendungssoftware
- Intel oneAPI Rendering Toolkit
- Skalierbare Intel Xeon Prozessoren