Intel ebnet den Weg zum Exascale-Computing und HPC

Der Umfang und die Rechenkapazität von HPC-Clustern (High-Performance-Computing) wächst in gewaltigem Tempo – so stark, dass Exascale-Computing schon in den nächsten Jahren zum Greifen nah sein wird. Allerdings müssen dazu große Herausforderungen bewältigt werden, wobei CPU-Leistung, Energieeffizienz, Zuverlässigkeit, Systemspeicher und Massenspeicher nur einen Teil davon ausmachen. Intel überwindet diese Hindernisse durch seine technischen Fortschritte Stück für Stück.

Herausforderungen von Exascale-Computing bewältigen

Zusätzlich zur Lösung der Rechenleistungs- und Energieversorgungsprobleme wird eine Fabric-Schnittstelle benötigt, die sich über die bisherigen Grenzen von InfiniBand* mit Zehntausenden Knoten hinaus auf Hunderttausende Knoten skalieren lässt, ohne an Leistung oder Zuverlässigkeit einzubüßen.

Es geht aber nicht nur um riesige Computer-Cluster. Sowohl die Privatwirtschaft als auch die Hochschulen benötigen HPC-Kapazitäten in unterschiedlichen, manchmal kleineren Maßstäben, um Produkte auf den Markt zu bringen oder ihre Forschungsprojekte schneller voranzubringen – und das mit begrenzten Ressourcen. Sie brauchen maximale Cluster-Leistung, ohne schmale Budgets zu sprengen.

HPC-Zentren, die von Abteilungs-Clustern mit wenigen Knoten bis zu den größten Supercomputern reichen, stehen vor verschiedenen großen Herausforderungen:

  • Leistungseigenschaften: Prozessorleistung und Speicherbandbreite wachsen schneller als die System-I/O-Kapazität. Hier ist eine Lösung erforderlich, die eine höhere verfügbare Gesamt-I/O-Bandbreite pro Prozessor bereitstellt, um die MPI-Übertragungsraten (Message Passing Interface) für die HPC-Implementierungen von morgen zu steigern.
  • Kosten und Systemdichte: Durch mehr Komponenten in einem Server wird die Integrationsdichte begrenzt und die Kosten für die Kopplung der Systeme (Fabric) steigen. Durch einen integrierten Fabric-Controller können zusätzliche Kosten und der Platzbedarf für separate Karten vermieden werden, was einerseits eine höhere Serverdichte ermöglicht und andererseits einen wertvollen PCIe*-Steckplatz für andere Storage- und Netzwerkcontroller frei lässt.
  • Zuverlässigkeit und Energieverbrauch: Separate Schnittstellenkarten haben eine Leistungsaufnahme von vielen Watt. Eine auf dem Prozessorchip integrierte Schnittstelle verbraucht mit weniger Einzelkomponenten auch weniger Strom.


Die Zukunft von Hochleistungs-Fabrics

Aktuelle, auf Standards basierende Hochleistungs-Fabric-Schnittstellen wie InfiniBand* wurden ursprünglich nicht für HPC konzipiert, was zu Schwächen in puncto Leistung und Skalierbarkeit führt, die gegenwärtig die Entwicklung hin zum Exascale-Computing erschweren. Die Intel® Omni-Path-Architektur (Intel® OPA) ist speziell dafür vorgesehen, diese Probleme auszuräumen und eine kostengünstige Skalierung von HPC-Clustern auf Einstiegsniveau bis zu größeren Clustern mit 10 000 und mehr Knoten zu ermöglichen. Um die Spezifikation und das Design von InfiniBand zu übertreffen, bedient sich Intel neben seiner eigenen Technologie der besten Technologie in der Branche, einschließlich übernommener Techniken von QLogic und Cray.

Intel® OPA und InfiniBand Enhanced Data Rate (EDR) arbeiten zwar beide mit 100 Gbit/s, es gibt jedoch viele Unterschiede. Die Verbesserungen der Intel® OPA werden die Weiterentwicklung zum Exascale-Computing unterstützen und durch die Optimierung für HPC-Anwendungen – sowohl auf Host- als auch Fabric-Ebene – zugleich kosteneffektive Cluster jeglicher Größe ermöglichen, wie sie mit den üblichen auf InfiniBand basierenden Umsetzungen nicht möglich sind.

Die Intel® Omni-Path-Architektur bietet:

  • Besonderheiten und Funktionsmerkmale auf Host- und Fabric-Ebene, die wesentlich höhere Skalierung ermöglichen,
  • eine Integration von CPU und Fabric, die für erheblich höhere Datenverarbeitungsdichte, verbesserte Zuverlässigkeit, geringeren Energieverbrauch und niedrigere Kosten sorgt, wie sie bei bedeutend größeren HPC-Installationen notwendig sind,
  • Fabric-Tools, welche die problemlose Installation, Verifizierung und Verwaltung von Fabrics auf diesem Niveau der Komplexität gestatten.


Fabric-Schnittstelle der nächsten Generation

Als ein Element des Intel® Scalable-System-Framework (Intel® SSF) stellt die Intel® Omni-Path-Architektur (Intel® OPA) die Leistungsbandbreite für künftige High-Performance-Computing-Aufgaben (HPC) und die mögliche Skalierung auf Zehntausende Knoten – und letztendlich sogar noch mehr – zu einem Preis bereit, der es mit heutigen Fabric-Lösungen aufnehmen kann. Die Produktlinie der Intel® OPA-100-Reihe ist eine umfassende Lösung, mit PCIe*-Adaptern, Halbleiterbauelementen, Switches, Kabeln und Managementsoftware. Als Nachfolger der Intel® True Scale Fabric baut diese optimierte HPC-Fabric-Schnittstelle auf eine Kombination von weiterentwickelter IP- und Intel®-Technik auf.

Was Software-Anwendungen anbelangt, wahrt die Intel® OPA bezüglich der bisherigen Intel True Scale Fabric und der InfiniBand*-APIs die Konsistenz und Kompatibilität und funktioniert über den Open-Source-Software-Stack der OpenFabrics Alliance (OFA) mit führenden Linux*-Distributionen.

Wichtige Fabric-Besonderheiten und -Innovationen von Intel® Omni-Path

Adaptive Routing

Adaptive Routing überwacht die Leistungsbandbreite möglicher Pfade zwischen Fabric und Endpunkten und wählt den am wenigsten überlasteten Pfad aus, um die Datenpaket-Last auszugleichen. Routing wird zwar auch von anderen Lösungen unterstützt, der entscheidende Unterschied ist jedoch die Umsetzung. Intels Implementierung baut auf das Zusammenwirken von Fabric-Manager und Switch-ASICs auf. Der Fabric-Manager initialisiert mit seiner globalen Übersicht über die Topologie die Switch-ASICs mit verschiedenen Ausgangsoptionen pro Ziel und aktualisiert diese Optionen, wenn sich die grundlegende Fabric-Struktur durch hinzugefügte oder entfernte Verbindungen ändert. Sobald die Optionen für den Switch-Ausgang gesetzt sind, überwacht der Fabric-Manager den Fabric-Zustand und die Switch-ASICs reagieren dynamisch auf Überlastungen, die bei den einzelnen Verbindungen festgestellt werden. Dieses Konzept ermöglicht die Skalierung von Adaptive Routing bei größer und komplexer werdenden Fabric-Topologien.

Dispersive Routing

Eine der kritischen Funktionen des Fabric-Managements ist die Initialisierung und Konfiguration der Routen durch das Fabric zwischen Knotenpaaren. Die Intel® Omni-Path-Fabric-Technik unterstützt verschiedene Routingmethoden, wie die Festlegung alternativer Pfade, die den Datenverkehrsfluss unter dem Aspekt der Redundanz, Leistung und Lastverteilung aufteilen. Anstatt alle Pakete über einen einzelnen Pfad von der Quelle zum Ziel zu senden, verteilt Dispersive Routing den Datenverkehr auf mehrere Pfade. Auf der Empfängerseite werden die Pakete für die schnelle, effiziente Verarbeitung wieder in der richtigen Reihenfolge zusammengesetzt. Dispersive Routing fördert die optimale Fabric-Effizienz durch die Nutzung eines größeren Teils der Fabric-Struktur, um bei allen Jobs maximale Leistungskapazität für die Kommunikation bereitzustellen.

Traffic Flow Optimization (TFO)

Die Optimierung des Datenverkehrsflusses (Traffic Flow Optimization, TFO) maximiert die Dienstgüte (Quality of Service) von Nachrichten, die an einen Ausgangsport geschickt werden sollen, über die auf Virtual-Lane- und Service-Level basierende Priorität hinaus. Auf der Verbindungsebene der Intel® Omni-Path-Architektur (Intel® OPA) werden Pakete mit unterschiedlicher Länge in Container mit fester Größe zerteilt, die für die Übertragung über den Link wiederum in Link Transfer Packets (LTPs) mit fester Größe gepackt werden. Da die Pakete in kleinere Container aufgeteilt werden, kann ein Container mit höherer Priorität eine Unterbrechung anfordern und in den ISL-Datenstrom eingefügt werden, bevor die vorherige Datenübertragung fortgeführt wird.

Der entscheidende Vorteil besteht darin, dass Traffic Flow Optimization (TFO) Schwankungen der Latenz verringert, die im Netzwerk bei gleichzeitigem Datenverkehr mit hoher und mit geringerer Priorität auftreten. Diese Technik soll einer traditionellen Schwäche von Ethernet und InfiniBand* abhelfen, bei denen die Übertragung eines Datenpakets ab dem Aufbau der Verbindung zuerst vollständig abgeschlossen werden muss, auch wenn inzwischen Pakete mit höherer Priorität zur Übertragung anstehen.

Packet Integrity Protection (PIP)

Durch den Integritätsschutz von Datenpaketen (Packet Integrity Protection, PIP) können Übertragungsfehler zwischen einem Sender und einem Empfänger über eine Intel®-OPA-Verbindung schnell und transparent behoben werden. In Anbetracht der sehr hohen Signalrate der Intel® Omni-Path-Architektur (25,78125 GT/s pro Lane) und des Ziels, große Systeme mit hunderttausend und mehr Verbindungen zu unterstützen, müssen einzelne Bitfehler toleriert werden, wobei sichergestellt ist, dass die Auswirkungen auf die Leistung vernachlässigbar sind. Die Packet Integrity Protection (PIP) ermöglicht die Korrektur einzeln auftretender Fehler, die sowohl zwischen einem Host und einem Switch als auch zwischen Switches vorkommen können. Dadurch entfällt die Notwendigkeit von Timeouts auf der Übertragungsebene und von End-to-End-Wiederholungen. Die Korrektur erfolgt ohne die großen Latenznachteile, die alternative Fehlerkorrekturkonzepte mit sich bringen.

Dynamic Lane Scaling (DLS)

Dynamic Lane Scaling (DLS) macht es möglich, dass eine Operation selbst dann fortgesetzt werden kann, wenn eine oder mehrere Lanes einer 4x-Verbindung ausfallen, was einen erneuten Start oder die Rückkehr zu einem früheren Checkpoint erspart, wenn die Anwendung weiterlaufen soll. Der Job kann so zum Abschluss gebracht werden, bevor Maßnahmen zur Lösung des Problems ergriffen werden. Bisher unterbricht InfiniBand* die gesamte 4x-Verbindung, wenn Lanes ausfallen, was Zeit und Produktivität kostet.

Intel beseitigt Hindernisse auf dem Weg zum Exascale-Computing und nimmt sich der HPC-Probleme von morgen an. Wenden Sie sich an Ihren Ansprechpartner bei Intel, um die Vorteile der Intel® Omni-Path-Architektur (Intel® OPA) im Hinblick auf Ihre zukünftigen HPC-Aufgaben zu diskutieren.

Mehr über Intel® Fabric-Produkte


Ein neues High-Performance-Fabric für HPC

Intersect360 Research stellt ausführlich dar, warum die auf der Intel® Omni-Path-Architektur (Intel® OPA) basierende Produktreihe die bedeutendste neue Schnittstelle für HPC seit der Einführung von InfiniBand* ist.

Whitepaper

Supercomputing-Center

Addison Snell, CEO von Intersect360 Research, spricht mit Ph.D. Nick Nystrom und Barry Davis über das eindrucksvolle Bridges-System des Pittsburgh Supercomputing Centers.

Podcast

Intel bringt Omni-Path für HPC voran

Barry Davis von Intel beschreibt, wie das Unternehmen mit der Intel® Omni-Path-Architektur (Intel® OPA) für High-Performance-Computing vorankommt.

Video