Kritische Überlegungen für KI-Implementierungen
Blick über den GPU hinaus
Man erwartet, dass die KI-Industrie bis Mitte der 2020er Jahre auf mehrere zehn Milliarden Dollar anwachsen wird, wobei der größte Teil des Wachstums im Bereich der KI-Inferenz liegt.1 Die skalierbaren Intel Xeon Prozessoren machen etwa 70 % der Prozessoreinheiten aus, die KI-Inferenz-Workloads im Rechenzentrum ausführen.2
Grafikprozessoren eignen sich gut für Trainingsworkloads, sind aber nicht für alle Phasen der KI erforderlich. In einer Untersuchung aus dem Jahr 2021 nannten 56 % der Befragten die Kosten als größte Herausforderung bei der Implementierung von KI/ML-Lösungen.3
Während sich GPU-Lösungen für das Training eignen, erfordert der Einsatz von KI mehr.
Wenn Sie KI-Lösungen evaluieren, stellen Sie sicher, dass Sie alle richtigen Details für Ihre Entscheidung haben
Plattform
Bei unternehmenseigenen Plattformen müssen Ihre Organisation, die Unternehmensarchitektur, die Dateninfrastruktur, die Middleware und die Anwendungsstacks von Expertenteams neu gestaltet werden, um den Wert der CAPEX- und OPEX-intensiven Ressourcen zu maximieren.
Flexibilität
Intel-basierte Lösungen bieten die größte Workload-Flexibilität für Ihr Unternehmen, einschließlich KI. Diese Lösungen passen sich an die bestehende Organisation, den Einsatzkontext, die Unternehmensarchitekturen, die Dateninfrastrukturen, die Middleware und die Anwendungsstacks an, so dass eine Umstrukturierung nicht erforderlich ist.
Support
Intel bietet das robusteste Toolkit zur Unterstützung Ihrer KI-Anforderungen. Nachfolgend sind die wichtigsten Punkte aufgeführt, die bei der Implementierung von KI-Lösungen in den fünf Phasen der KI-Ausführung zu beachten sind.
Kritische Erwägungen für KI
1. Intel beschleunigt die Datenwissenschaft
- Datenwissenschaftliche Arbeitsabläufe verlangen hochgradig interaktive Systeme, die riesige Datenmengen im Speicher mit Algorithmen und Tools verarbeiten, die für die Verarbeitung auf einem einzigen Knoten ausgelegt sind - GPUs sind für diese Aufgaben im Allgemeinen ungeeignet.
- Intel-Plattformen mit Intel® Optane™ Persistent Memory (PMem) bieten einen großen Speicher für Data-Science-Workflows. Mit PMem können größere Datenmengen in den Speicher geladen werden, ohne auf die Festplatte zurückzugreifen.
- Die Vorverarbeitung von Daten wird heute auf einer CPU durchgeführt, und viele Anwender verbringen einen großen Teil ihrer Zeit mit der sehr beliebten Pandas-Bibliothek.
Intels Verteilung der Open-Source-Bibliothek Modin beschleunigt Pandas-Anwendungen4
Bis zu
90X
Bis zu
90X
2. Intel® Xeon® Scalable ermöglicht eine effektive Vorverarbeitung von KI-Daten
Die Dateninfrastruktur ist bereits für Intel und eine effektive Erfassung optimiert.
Dadurch entsteht eine vollständig optimierte Pipeline, die vom PC und der Workstation über die Cloud bis hin zum Edge skalierbar ist - Kunden können KI überall skalieren, indem sie das breite, offene Software-Ökosystem und die einzigartigen Intel Tools nutzen.
Wenn Sie auf Daten zugreifen und diese verarbeiten, sind Speicher und Arbeitsspeicher von entscheidender Bedeutung - nutzen Sie die Vorteile eines schnelleren Intel-Speicher-Subsystems, das keine GPU benötigt.
3. Intel sorgt für Skalierbarkeit beim KI-Training
Habana Gaudi versorgt Kunden mit kosteneffizientem KI-Training, Benutzerfreundlichkeit und Skalierbarkeit des Systems - die Integration der Gaudi-Plattform beseitigt Speicherengpässe und optimiert die Nutzung der KI-Rechenkapazität5.
Der Habana® Gaudi® KI-Trainingsprozessor versorgt Amazon EC2 DL1-Instanzen mit folgenden Leistungen
Bis zu
40%
bessere Preisleistung als vergleichbare Nvidia GPU-basierte Trainingsinstanzen, laut AWS-Tests6 - dieser Prozessor ist auch für die Implementierung vor Ort mit dem Supermicro X12 Gaudi AI Training Server verfügbar.
Bis zu
40%
bessere Preisleistung als vergleichbare Nvidia GPU-basierte Trainingsinstanzen, laut AWS-Tests6 - dieser Prozessor ist auch für die Implementierung vor Ort mit dem Supermicro X12 Gaudi AI Training Server verfügbar.
Time-to-Train auf Intel Xeon
Vorhandene skalierbare Intel Xeon Prozessoren eignen sich gut für intermittierende Trainingssätze außerhalb der Spitzenlastzeiten über Nacht oder an Wochenenden.
Die bevorstehende Einführung von skalierbaren Intel Xeon Prozessoren der nächsten Generation (Codename Sapphire Rapids) mit AMX und BrainFloat16 wird eine noch höhere Leistung und Skalierbarkeit bieten.7
4. Intel Xeon Scalable steigert die Leistung von Machine Learning
Erhöhen Sie die Effektivität von Workloads für maschinelles Lernen durch die Leistung von Intel Hardware.
Die neuen integrierten Beschleunigungsfunktionen der skalierbaren Intel Xeon Prozessoren der 3. Generation liefern bis zu
1,5X
höhere KI-Leistung als andere CPUs bei 20 wichtigen Kunden-Workloads, von denen die meisten maschinelles Lernen sind.8
Die in die skalierbaren Xeon Prozessoren integrierten KI-Beschleuniger bieten
10 bis 100X
Leistungsverbesserungen9 für KI-Frameworks und -Bibliotheken wie Spark für Datenverarbeitung, TensorFlow, PyTorch, Scikit-learn, NumPy und XGBoost.
Die neuen integrierten Beschleunigungsfunktionen der skalierbaren Intel Xeon Prozessoren der 3. Generation liefern bis zu
1,5X
höhere KI-Leistung als andere CPUs bei 20 wichtigen Kunden-Workloads, von denen die meisten maschinelles Lernen sind.8
Die in die skalierbaren Xeon Prozessoren integrierten KI-Beschleuniger bieten
10 bis 100X
Leistungsverbesserungen9 für KI-Frameworks und -Bibliotheken wie Spark für Datenverarbeitung, TensorFlow, PyTorch, Scikit-learn, NumPy und XGBoost.
Für eine effiziente Graphenanalyse müssen Sie nicht die Bank sprengen - ein einzelner Xeon-basierter Server mit ausreichend Arbeitsspeicher ist eine viel bessere Wahl für eine groß angelegte, universelle Graphenanalyse.
Schnellere analytische Erkenntnisse bis zu
2X
schnellere Graph-Analyse-Berechnungen (Katana Graph) für Empfehlungssysteme und Betrugserkennung.
Betrugserkennung bis zu
2X
schneller, wenn skalierbare Xeon Prozessoren der 3. Generation mit persistentem Intel Optane Speicher der Serie 200 verwendet werden.10
Schnellere analytische Erkenntnisse bis zu
2X
schnellere Graph-Analyse-Berechnungen (Katana Graph) für Empfehlungssysteme und Betrugserkennung.
Betrugserkennung bis zu
2X
schneller, wenn skalierbare Xeon Prozessoren der 3. Generation mit persistentem Intel Optane Speicher der Serie 200 verwendet werden.10
5. Xeon skalierbare Prozessoren sind die beste Lösung für Inferenzen
Beim Einsatz von KI geht es um Schlussfolgerungen, und Intel ist die weltweit vertrauenswürdigste Hardware für Schlussfolgerungen! Die skalierbaren Intel Xeon Prozessoren machen etwa 70 % der Prozessoreinheiten aus, die KI-Inferenz-Workloads im Rechenzentrum ausführen.2
Die Leistung von Intel Hardware kann den Erfolg Ihrer Geschäftsabläufe unterstützen. Hier ist der Grund dafür:
- Intel Xeon Scalable ist die einzige x86-Rechenzentrums-CPU mit integrierter KI-Beschleunigung. Nutzen Sie Xeon Scalable für eine kostengünstigere Inferenzierung, anstatt neue NVIDIA-Hardware einzusetzen, die zusätzliche Bereitstellungs- und laufende Kosten verursacht.
- 30 % höhere durchschnittliche KI-Leistung bei 20 Workloads mit skalierbarem Intel Xeon Prozessor der 3. Generation, der Intel® DL Boost unterstützt, im Vergleich zu Nvidia A100 GPU11 (Geomean von 20 Workloads), ohne dass die Kosten und die Komplexität einer GPU hinzukommen.
Dual-Socket-Server mit skalierbaren Intel Xeon Prozessoren der nächsten Generation (Codename Sapphire Rapids) können über 24.000 Bilder pro Sekunde ableiten, verglichen mit 16.000 Bildern pro Sekunde auf einem Nvidia A30-Grafikprozessor12
Das bedeutet, dass Intel besser liefern kann als
1,5X
die Leistung von Nvidias Mainstream-Inferencing-GPU für 2022,12 was die Empfehlung, auf Xeon Prozessoren zu standardisieren, bekräftigt - und die nächste Generation wird noch mehr Leistung bieten.
Das bedeutet, dass Intel besser liefern kann als
1,5X
die Leistung von Nvidias Mainstream-Inferencing-GPU für 2022,12 was die Empfehlung, auf Xeon Prozessoren zu standardisieren, bekräftigt - und die nächste Generation wird noch mehr Leistung bieten.
6. Intel liefert End-to-End-KI-Leistung
Optimieren Sie Ihre Arbeitslast für die bereits installierten skalierbaren Intel Xeon Prozessoren, um eine bessere End-to-End-Leistung zu erzielen, ohne dass es zu Verzögerungen oder Belastungen kommt.
- Nutzen Sie die Intel Technik, die Sie kennen.
- Die Komplexität der Herausforderungen der Nicht-Intel-Integration führt zu längeren Latenzen.
End-to-End-Sentimentanalyse auf Dokumentenebene (DSLA)
Niedriger ist besser.13 Die Vorbearbeitung kann die Zeit bis zur Lösung dominieren, und der Grafikprozessor ist in der Regel im Leerlauf.
17X
geringere Kosten auf Systemen mit Intel Xeon Prozessoren, ohne die zusätzliche GPU-Komplexität.14
7. Open-Source-Software von Intel vermeidet Lock-in
Einmal schreiben, überall einsetzen mit Open-Source-Software. Benutzer von DL/ML-Frameworks können alle Leistungs- und Produktivitätsvorteile durch Drop-in-Beschleunigung nutzen, ohne neue APIs oder Low-Level-Bibliotheken erlernen zu müssen, da viele KI-Frameworks bereits auf Intel laufen.
Behalten Sie die Flexibilität mit oneAPI und OpenVINO bei.
- Intels End-to-End-Portfolio an KI-Tools und Framework-Optimierungen für Kunden baut auf der Grundlage des offenen, standardbasierten, einheitlichen oneAPI-Programmiermodells und der zugehörigen Bibliotheken auf.
- Mit OpenVINO können Entwickler einmal schreiben und mit Tools, die für die Optimierung und Bereitstellung von DL-Inferenzmodellen konzipiert sind, überall einsetzen.
- Die Intel oneDNN-Bibliothek wird auf breiter Basis eingesetzt - oneDNN bietet die Bausteine für Deep Learning-Anwendungen mit sehr schneller Leistung auf x86_64-Prozessoren und bietet Entwicklern eine größere Bandbreite an Leistungsoptimierungen.
CUDA-basierte Tools schränken die Auswahl der Entwickler ein und binden alle Modelle, die für diese Plattform erstellt werden.
- CUDA hat ein geschlossenes Ökosystem geschaffen, über das hinaus zu wachsen schwierig ist.
- Dies erschwert die Portierung ohne Neukodierung oder Unterstützung durch CUDA-Ingenieure.
Neben der Entwicklung von Intel-optimierten Distributionen für führende KI-Frameworks führt Intel auch Optimierungen in den Hauptversionen dieser Frameworks durch, um die Leistung und Produktivität Ihrer KI-Anwendungen zu steigern, selbst wenn Sie Standardversionen dieser Frameworks verwenden
Schnellere Leistung im Vergleich zur vorherigen Generation: TensorFlow Intel Optimierung
Bis zu
11X
Höhere Leistung der Batch-KI-Inferenz auf ResNet50 mit skalierbarem Intel Xeon Prozessor der 3. Generation 15.
Bis zu
11X
Höhere Leistung der Batch-KI-Inferenz auf ResNet50 mit skalierbarem Intel Xeon Prozessor der 3. Generation 15.
8. Intels umfangreiches KI-Portfolio
KI ist ein komplexes und vielfältiges Ökosystem. Intel verfügt über ein Produktportfolio an leistungsfähiger Hardware und Open-Source-Software, um die sich entwickelnden KI-Anforderungen mit maximaler Leistung und Kosteneffizienz für jede Arbeitslast zu erfüllen. Entdecken Sie IntelsKI-Portfolio.
- Intel hat das breiteste KI-Portfolio für Kunden, darunter CPUs, FPGAs, VPUs, ASICs, zukünftige diskrete GPUs und vieles mehr, so dass wir für jeden Kundenanwendungsfall die richtige HW positionieren können.
Xeon-Vorteile
Unabhängig von der Art der KI-Bereitstellung bietet das Intel Portfolio die Hardware- und Softwarefunktionen, die Sie für Ihren Erfolg benötigen.
Produkt- und Leistungsinformationen
Basierend auf der Intel Marktmodellierung der weltweit installierten Basis von Rechenzentrumsservern mit KI Inferenz-Workloads im Dezember 2021.
https://techdecoded.intel.io/resources/one-line-code-changes-to-boost-pandas-scikit-learn-and-tensorflow-performance/#gs.bzkn2n für Workloads und Konfigurationen. Die Ergebnisse können von Fall zu Fall abweichen.
MLPerf results for Training v1.0, veröffentlicht am 30. Juni 2021. Siehe https://mlcommons.org/en/training-normal-10/
Siehe [43] auf www.intel.com/3gen-xeon-config.
Siehe Claim 4 unter https://edc.intel.com/content/www/us/en/products/performance/benchmarks/intel-optane-persistent-memory-200-series/ für Workloads und Konfigurationen. Die Ergebnisse können von Fall zu Fall abweichen.
Siehe [44] unter https://www.intel.com/3gen-xeon-config.
Siehe Key100 Sandra Rivera AITI001 Pradeep Dubey Slide 37 auf https://edc.intel.com/content/www/us/en/products/performance/benchmarks/innovation-event-claims/
Siehe www.intel.com/InnovationEventClaims, AI001, Meena Arunachalam, #25, für Workloads und Konfigurationen.
Siehe [100] unter https://www.intel.com/3gen-xeon-config.