iFLYTEK: Verbesserung der Spracherkennung durch KI

iFLYTEK optimiert seine Cloud auf der Grundlage von skalierbaren Intel® Xeon® Prozessoren der 2. Generation für künstliche Intelligenz.

Auf einen Blick:

  • iFLYTEK ist ein chinesisches Technologieunternehmen, das Spracherkennungssoftware und 10+ sprachbasierte Internet/Mobilprodukte in den Bereichen Bildung, Kommunikation, Musik und intelligente Spielzeug entwickelt.

  • iFLYTEK nutzt skalierbare Intel® Xeon® Prozessoren der 2. Generation mit Intel® Deep Learning Boost (Intel® DL Boost) und Intel® Optane™ SSDs, um die TCO seiner KI-Cloud zu verbessern.

BUILT IN - ARTICLE INTRO SECOND COMPONENT

Kurzübersicht

Als ein in China und weltweit führender Anbieter in den Bereichen intelligente Sprache und künstliche Intelligenz (KI) hat iFLYTEK Co., Ltd. (iFLYTEK), das im Jahr 1999 gegründet wurde, eine führende internationale Position in Technologien wie Spracherkennung und natürliche Sprachverarbeitung und im chinesischen Sprachtechnologiemarkt einen Anteil von über 70 % erreicht1 Mit Blick auf die Zukunft plant iFLYTEK derzeit, neue KI-Anwendungen in kognitiven Bereichen auf der Grundlage seiner iFLYTEK Cloud zu erforschen. Diese Plattform basiert auf iFLYTEK KI-Technologie als Core-Engine und umfasst Daten und Expertenwissen aus Branchen, was ein wirksameres KI-Branchenökosystem ermöglicht.

Herausforderung

iFLYTEK ist sich der Bedeutung von Cloud-Computing-Plattformen für das Erreichen dieser strategischen Ziele voll bewusst. Die Firma weiß auch, dass die Entwicklung von KI-Technologien wie Deep Learning nicht nur die Verbesserung der Anwendungen auf oberseter Ebene erfordert, sondern auch Unterstützung in Form von Rechen-, Datenverarbeitungs- und Algorithmusoptimierungen der darunter befindlichen Plattformen benötigt. Diese Strategie erfordert, dass iFLYTEK eine langfristige Beziehung zum beiderseitigen Nutzen mit einem Partner aufbaut, der in den genannten Technologien umfangreiche Integrationskapazitäten besitzt. Zudem musste es eine besser diversifizierte und optimierte Hardware-Plattform finden, die zu iFLYTEKs Cloud für künstliche Intelligenz (von nun an als „KI-Cloud„ bezeichnet) und deren Anwendungen passte.

„Intel ist nicht nur ein hervorragender Anbieter von Hardware-Produkten, sondern auch einen führender, umfassender Lösungsanbieter im Bereich der künstlichen Intelligenz. Das Unternehmen ist ein vertrauenswürdiger, zuverlässiger und vielseitiger Partner für unsere KI-Strategie und hilft uns, Wege zu zukünftigen Innovationen in der künstlichen Intelligenz effektiv zu untersuchen.“ — Herr Zhijiang Zhang, Vizepräsident von iFLYTEKs Cloud Computing Research Institute

Lösung

Angesichts dieser beiden Erwägungen haben iFLYTEK und Intel eine tiefgehende Zusammenarbeit begonnen. Das KI-Technologie-Portfolio von Intel umfasst Mehrzweck-, Spezial und modifizierbare Hardware-Plattformen. Es berücksichtigt sowohl Hardware-Support als auch Software-Optimierung und deckt sowohl End-to-End-Lösungen als auch Cloudlösungen ab. Intel hat iFLYTEK nicht nur mit fortschrittlichen Hardwareprodukten wie der skalierbaren Intel® Xeon® Prozessorreihe als „Kern“ der iFLYTEK KI-Cloud versorgt, sondern bemüht sich auch, die Migration und Optimierung von relevanten Codes und Modellen von General Purpose Computation on Graphics Processing Units (GPGPU) auf die skalierbare Intel Xeon-Prozessor-Plattform zu beschleunigen.

Die beiden Parteien haben bisher extrem positive Ergebnisse erzielt. Beispielsweise hat iFLYTEK seine KI-Cloud bereits auf skalierbaren Intel Xeon Prozessoren erfolgreich ausgeführt. Darüber hinaus hat iFLYTEK eine große Anzahl an bestehenden GPGPU-basierten KI-Anwendungen zu Plattformen auf der Grundlage von skalierbaren Intel Xeon Prozessoren migriert und dabei hervorragende Ergebnisse bei der Leistungsoptimierung erzielt. Das unterstreicht die ersten Schritte, die beide Parteien bei der Untersuchung von Wegen und Forschungsrichtungen bezüglich der künftigen Entwicklung von KI hinter sich gebracht haben.

Die Datenerfassung, Entwicklung von Algorithmen und Rechenleistung haben alle Auswirkungen auf die Leistung der KI-Workload. Bisher hat iFLYTEK die ersten beiden Anforderungen ziemlich gut erfüllt. Allerdings gibt es noch immer enorme Herausforderungen bezüglich der Rechenleistung.

Um die Leistung von Deep Learning zu steigern, versucht iFLYTEK im „Super Brain Project“ menschliche Gehirnneuronen zu emulieren, um den intelligenten Sprachgeräten der Firma rudimentäre menschliche Denkfähigkeiten zu verleihen. Um dieses Ziel zu erreichen, muss iFLYTEK die enorme Herausforderung der Verarbeitung riesiger Mengen von Trainingsdaten und Modellparametern überwinden. Die Umsetzung dieser Deep Simulation erfordert einen noch größeren Supercomputer-Cluster, bessere Deep Learning-Algorithmen sowie spezielle und dedizierte neuronale Netzwerk-Chipsysteme.

iFLYTEK konzentriert sich daher auf Intel. – einen weiteren KI-Branchenführer. Herr Zhijiang Zhang — Vizepräsident von iFLYTEKs Cloud Computing Research Institute — beschreibt die Zusammenarbeit zwischen den beiden Unternehmen wie folgt: “Unsere Partnerschaft mit Intel dient zur Untersuchung von Wegen und Forschungsrichtungen bezüglich der künftigen Entwicklung von KI. Wir suchen nicht nur nach einem Hardware-Partner im konventionellen Sinn.“

Strategische Zusammenarbeit: Zu Beginn die „Suche nach einer Alternativlösung“

Eine wichtige Aufgabe der intelligenten Erkennung besteht darin, es Computern zu ermöglichen, menschliche Sprache zu „verstehen“. Nachdem es in den letzten Jahren für seine Errungenschaften im Bereich der Spracherkennung viel gelobt wurde, hat iFLYTEK nicht nur robuste Spracherkennungsfähigkeiten mit Spracherkennungssystemen auf der Grundlage von Algorithmen aus DNN (Deep Neural Network), RNN (Recurrent Neural Network), und RNN-CTC (RNN with Connectionist Temporal Classifica­tion) erreicht, sondern auch mehrere innovative intelligente Spracherkennungs-Frameworks wie FSMN (Feedforward Sequential Memory Neural Networks) und DFCNN (Deep Fully Convolutional Neural Network) entwickelt, die bahnbrechend in der Evolution der Spracherkennungstechnologie sind.

„Der skalierbare Intel Xeon Prozessor der 2. Generation mit integrierter Intel Deep Learning Boost (VNNI) Technologie wird unsere KI-Rechenleistung deutlich steigern. Das wird auch die TCO unserer KI-Cloud verbessern, da wir die vorherige GPU-Karte entfernen können. Bei der Prüfung echter Workloads in der KI-Cloud mit der skalierbaren Intel Xeon Prozessorreihe der 2. Generation können wir bei aktiviertem VNNI eine der GPU-Lösung ähnliche oder bessere Leistung erzielen.“ — Herr Zhijiang Zhang

Um die Spracherkennung weiter zu verbessern, muss auf diesen Frameworks ein massives Datentraining urchgeführt werden, was wiederum enorme Rechenleistungen erfordert. Die in der Spracherkennung eingesetzte Deep-Learning-Infrastruktur verbindet Rechenressourcen über schnelle Netzwerke mit einem parallelen Dateisystem, auf dem die Rechen-Engine – der Kern der Spracherkennung – entwickelt und zu verschiedenen Arten von Modelltraining und Berechnung verwendet wird. Es ist offensichtlich, dass die Rechenleistung und die Übertragungskapazität des Hochgeschwindigkeits-Netzwerks die Betriebsleistung dieser Infrastruktur direkt beeinflussen.

Obwohl iFLYTEK vorher konventionelle GPGPU-Lösungen eingesetzt hat, sind die Ingenieure von iFLYTEK aufgrund des beeindruckenden Potenzials der skalierbaren Intel Xeon Prozessorreihe der 2. Generation bei dieser Art von Anwendung sehr daran interessiert, diese einzusetzen. Die Ingenieure planen, die Leistung des Prozessors in Deep-Leaning-Systemen zu testen.

„Der skalierbare Intel Xeon Prozessor der 2. Generation mit integrierter Intel Deep Learning Boost (VNNI) Technologie wird unsere KI-Rechenleistung deutlich steigern“, erklärte Zhang. „Das wird auch die TCO unserer KI-Cloud verbessern, da wir die vorherige GPU-Karte entfernen können. Bei der Prüfung echter Workloads in der KI-Cloud mit der skalierbaren Intel Xeon Prozessorreihe der 2. Generation können wir bei aktiviertem VNNI eine der GPU-Lösung ähnliche oder bessere Leistung erzielen.“

„Wir haben einen Hot-Data-Cache mit Intel® Optane™ SSDs in der KI-Cloud entwickelt, um beim Berechnen den Modellen schnellen Zugriff zu bieten, was die durchschnittliche Reaktionsdauer der KI-Cloud deutlich verbessert“, fuhr Zhang fort. „Und wir haben die KI-Cloudarchitektur für die Kombination aus skalierbaren Intel Xeon Prozessoren der 2. Generation und Intel Optane SSD optimiert, damit wir nicht nur die beste Leistung für beide erzielen, sondern auch die Leistung auf der Systemebene ausgleichen können.“

Ergebnis

Die Leistung der skalierbaren Intel Xeon Prozessoren der 2. Generation und der Intel Optane SSDs hat iFLYTEKs Experten nicht enttäuscht: Leistungsmäßig kann der skalierbare Intel Xeon Prozessor bis zu 28 leistungsstarke Kerne integrieren, und die durch die Intel® Advanced Vector Extensions 512 (Intel AVX-512) Technologie ermöglichte größere Vektorbreite ist besonders für parallele Rechensituationen mit hoher Belastung geeignet. Gleichzeitig bietet dieser Prozessor hohe Skalierbarkeit und Zuverlässigkeit unter ansprucchsvollen Workloads, wodurch er für die schnelle Entscheidungsfindung von komplexen neuronalen Netzwerken beim Deep Learning geeignet ist.

„Der skalierbare Intel® Xeon® Prozessor der 2. Generation mit integrierter Intel® Deep Learning Boost (Intel® DL Boost) (VNNI) Technologie wird unsere KI-Rechenleistung deutlich steigern.“ — Herr Zhijiang Zhang

Zusammenfassung

Zusammen können die skalierbaren Intel Xeon Prozessoren der 2. Generation und Intel Optane SSDs die Anforderungen der iFLYTEK KI-Cloud zur Beschleunigung verschiedener Anwendungen noch viel besser erfüllen. Die KI-Cloud führt in der Regel mehrere Anwendungen aus, und diese Programme haben unterschiedliche Hardwareanforderungen. Obwohl ein tiefes neuronales Netzwerk eine hohe parallele Fließkomma-Rechenkapazitär benötigt, erfordern das viele andere Anwendungen nicht, und sie nutzen häufig Prozessoren, die für generelle Berechnungen geeignet sind.

Dementsprechend musste die KI-Cloud für die Anpassung an unterschiedliche Anwendungen mit unterschiedlicher Hardware konfiguriert werden. Allerdings könnte die zunehmende Vielfalt bei den Hardware-Plattformen die Komplexität von Kauf, Bereitstellung, Betrieb und Wartung erhöhen, was wiederum zu deutlich höheren Kosten führt. Daher sollte für diese komplexen Anwendunsganforderungen die ideale Lösung eine integrierte Hardware-Plattform bieten, die gleichzeitig die Beschleunigung von allgemeinen Aufgaben und KI-Anwendungen ausführen kann. Der skalierbare Intel Xeon Prozessor der 2. Generation ist die richtige Wahl, da er sich an unterschiedlichen Anwendungsbelastungen anpassen kann, die Konfigurationsflexibilität der KI-Cloud steigert und dabei bessere Skalierbarkeit bietet, aber die Komplexität der Plattform und die Kosten reduziert. Darüber hinaus kann man, wenn Anwendungen, die ursprünglich auf GPGPUs ausgeführt wurden, auf den skalierbaren Intel Xeon Prozessor der 2. Generation migriert und optimiert werden, die Gesamtbetriebskosten (TCO) senken, während die hohe Rechenleistung (HPC) gewährleistet wird.

Migration von Anwendungen: Umfassende Zusammenarbeit zwischen den technischen Teams beider Parteien

Bei der Zusammenarbeit zwischen den beiden Parteien wurde Intel und iFLYTEK Folgendes bewusst: Die Durchführung einer tiefgreifenderen Kooperation und eine bessere Anwendungsmigration und Optimierungsergebnisse erfordern, die Zusammenarbeit auf die Code-Ebene zu erweitern. Nur so können sie den höchsten Optimierungsgrad erreichen.

In dem Maße, wie Kontakte und Kommunikation zwischen den beiden Parteien zunehmen, haben technische Experten auf beiden Seiten sehr wirksame Mechansimen für Kommunikation, Austausch und Kooperation in Bereichen wie Code-Migration und Optimierung sowie Hardware-Optimierung eingeführt.

Zunächst einmal haben die beiden Parteien im Bereich Code-Migration und Optimierung folgende Aufgaben in Angriff genommen:

  • Klärung von Rollen und Verantwortungsbereichen. Um die geistigen Eigentumsrechte von iFLYTEK zu respektieren und zu schützen, hat iFLYTEK sein tiefes neuronales Netzwerkmodell und die Matrixskala etc. abstrakt zusammengefasst und dann den Programmcode und Daten an Intel übermittelt. Dann hat Intel die Codes migriert und sie auf Grundlage der Funktionen des skalierbaren Intel Xeon Prozessors wie hocheffiziente Kerne, Speichernutzung und extreme Vektorbreite deutlich optimiert. Dies gewährleistet wiederum, dass die Leistung von Anwendungen auf der Grundlage skalierbarer Intel Xeon Prozessoren die Erwartungen von iFLYTEK erfüllt. Danach werden die Ergebnisse der Optimierung, einschließlich der Code- und Leistungsparameter an iFLYTEK zurückgeschickt. Dadurch kann iFLYTEK die optimierte Lösung in der wirklichen Umgebung umsetzen, Debugging und Tests durchführen, die Genauigkeit und Wirksamkeit der Optimierung überprüfen und letztlich helfen, die Leistung von Anwendungen in seiner tatsächlichen Produktionsumgebung zu steigern. Darüber hinaus kann iFLYTEK seine Optimierungsmethoden und Erfahrungen bei der Migration und Optimierung anderer KI-Anwendungen anwenden.
  • Regelmäßiger Austausch von Ideen und Arbeitserfahrungen. Die technischen Experten beider Parteien führen routinemäßig zweimal wöchentlich Telefonkonferenzen durch. In diesen Konferenzen stellen beide Parteien ihren Fortschritt vor, tauschen Informationen aus und diskutieren technische Fragen. Zudem lösen sie aufgetretene Probleme, beschließen Optimisierungsmethoden und planen die nächsten Schritte. Darüber hinaus haben die beiden Parteien gelegentlich Besuche und Meetings von Führunsgpersonal durchgeführt und dafür gesorgt, dass ihre technischen Experten direkten Kontakt haben, um die Testumgebung von iFLYTEK zu aktualisieren und zu pflegen.

Im Hinblick auf die Hardware-Optimierung hat iFLYTEK auch zur Verbesserung der Speicherleistung der KI-Cloud Intel Optane SSDs mit Intel Optane™ Technik eingesetzt, da diese eine Kombination von hohen Durchsatzleistungen, niedrigen Latenz, hoher Dienstgüte (Quality of Service) und hoher Dauerbelastbarkeit bieten. Das Intel® SSD Technologieteam hat iFLYTEK dabei geholfen, die Leistung von Intel Optane SSDs in seiner KI-Cloud voll zu optimieren und dadurch bestehende Datenspeicherengpässe hinter sich zu lassen und das ganze Potenzial des skalierbaren Intel Xeon Prozessors zu nutzen.

Intel hat auch zahlreiche Vorschläge bezüglich der Architektur von iFLYTEKs Cloud-Computing Plattform gemacht. Zwischen dem technischen Team von iFLYTEK und Intels Cloud-Computing-Team und dem Big-Data-Technologieteam fanden auch umfassende Gespräche statt. Für die KI-Cloud von iFLYTEK hat Intel vielfältige Beratungsdienste bereitgestellt und Vorschläge zu Aspekten wie dem Design der grundlegenden Plattformarchitektur, der Optimierung der Cloud-Software und Big-Data-Software, sowie der betrieblichen Wartung und Verwaltung der Cloud etc. gemacht. Das hat iFLYTEK beim erfolgreichen Start der KI-Cloud untertsützt.

Durch umfassende und tiefgehende Zusammenarbeit haben Intel und iFLYTEK sehr zufriedenstellende Ergebnisse erzielt. iFLYTEK war sich klar bewusst, welche umfassenden Lösunsgangebote Intel in den Bereichen KI und Cloud-Computing bietet. Insbesondere hat iFLYTEK seine früher auf GPGPU laufenden KI-Anwendungen zu skalierbaren Intel Xeon Prozessoren migriert. Dabei nutzte es die Rechenkapazität, die durch die Optimierung und Vereinfachung der Implementierung und Wartung der KI-Cloud gewonnen wurde, während gleichzeitig die Gesamtbetriebskosten sanken. Während dieses Prozesses gewann Intel ein tiefes Verständnis der Anwendungs-Optimierungserlebnisse, Ansichten und zentralen Anforderungen des führenden KI-Unternehmens iFLYTEK. Viele KI-relevante Software-Tools und -Bibliotheken von Intel, wie Intel® Parallel Studio und Intel® Math Kernel Library for Deep Neural Networks (Intel® MKL-DNN), wurden aufgrund dieser Zusammenarbeit deutlich verbessert, sodass beide Partien von dieser Partnerschaft profitierten.

Zukunft: Gemeinsam an der Vorfront der künstlichen Intelligenz

Die oben genannten Schritte einer intensiven Zusammenarbeit ermöglichten es Intel und iFLYTEK, die KI-Kapazitäten und Ziele des anderen besser zu verstehen. Sie waren sich auch bewusst, dass sie von einer konventionellen Hardware-Kooperation zu einer gründlichen Zusammenarbeit sowohl auf wirtschaftlicher als auch strategischer Ebenen übergehen mussten. Das stellt für beide Unternehmen eine wichtige Gelegenheit dar, zukunftsorientiert die Welle der KI zu nutzen. Angesichts dieses Hintergrunds hat iFLYTEK bereits damit begonnen, weitere von Intel bereitgestellte Produkte und Technologien zu testen. In der iFLYTEK KI-Cloud, die Benutzern und Entwicklern in verschiedenen Bereichen und Branchen zur Verfügung gestellt wird, hat iFLYTEK bereits begonnen, den ganz neuen skalierbaren Intel Xeon Prozessor der 2. Generation, Intel Optane SSD und Intel® FPGA zu nutzen, die anpassbar sind und flexible Anwendungsunterstützung bieten.

In Zukunft werden Intel und iFLYTEK die technologische Zusammenarbeit auf der Grundlage der Absuchtserklärung der beiden Parteien vertiefen und gemeinsame Anstrengungen in den Bereichen Marktforschung und Formulierung der Marktstrategien unternehmen.

Mehr über zugehörige Intel® Produkte

Skalierbare Intel® Xeon® Prozessorreihe

Mit der skalierbaren Intel® Xeon® Plattform lassen sich nutzbringende Erkenntnisse einfacher gewinnen. Darüber hinaus bietet die Plattform hardwarebasierte Sicherheit und ermöglicht die dynamische Bereitstellung von Diensten.

Weitere Infos

Intel® Deep Learning Boost

Die skalierbare Intel® Xeon® Prozessorreihe setzt mit Intel® Deep Learning Boost (Intel® DL Boost) neue Maßstäbe für integrierte KI-Leistung.

Weitere Infos

Intel® Optane™ DC SSDs

Intel® Optane™ Technologie ist der erste große Durchbruch bei Arbeits- und Datenspeicher seit 25 Jahren.

Weitere Infos

Hinweise und Disclaimer

Durch Intel® Technik ermöglichte Funktionsmerkmale und Vorteile hängen von der Systemkonfiguration ab und können entsprechend geeignete Hardware, Software oder die Aktivierung von Diensten erfordern. Die Leistungsmerkmale variieren je nach Systemkonfiguration. Kein Computersystem bietet absolute Sicherheit. Informieren Sie sich beim Systemhersteller oder Einzelhändler oder auf https://www.intel.de. In Leistungstests verwendete Software und Workloads können speziell für die Leistungseigenschaften von Intel® Mikroprozessoren optimiert worden sein. Leistungstests wie SYSmark und MobileMark werden mit spezifischen Computersystemen, Komponenten, Softwareprogrammen, Operationen und Funktionen durchgeführt. Jede Veränderung bei einem dieser Faktoren kann abweichende Ergebnisse zur Folge haben. Für eine umfassende Bewertung Ihrer vorgesehenen Anschaffung, auch im Hinblick auf die Leistung des betreffenden Produkts in Verbindung mit anderen Produkten, sollten Sie zusätzliche Informationen und Leistungstests heranziehen.Ausführlichere Informationen finden Sie unter https://www.intel.de/benchmarks. Die Leistungsergebnisse basieren auf Tests, die zum Zeitpunkt, der in den Konfigurationen angegeben ist, durchgeführt wurden und berücksichtigen möglicherweise nicht alle öffentlich verfügbaren Sicherheitsupdates. Weitere Einzelheiten finden Sie in den veröffentlichten Konfigurationsdaten. Kein Produkt und keine Komponente bieten absolute Sicherheit. // Die beschriebenen Kostensenkungsszenarien sind als Beispiele dafür gedacht, wie ein bestimmtes Produkt mit Intel®-Technik unter den genannten Umständen und in der angegebenen Konfiguration zukünftige Kosten beeinflussen und Einsparungen ermöglichen kann. Die Umstände unterscheiden sich von Fall zu Fall. Intel übernimmt keine Gewähr für Kosten oder Kostensenkungen. // Intel hat keinen Einfluss auf und keine Aufsicht über die Benchmarkdaten Dritter oder die Websites, auf die in diesem Dokument Bezug genommen wird. Besuchen Sie die genannten Websites, um sich davon zu überzeugen, dass die angeführten Benchmarkdaten zutreffen. // Bei einigen Tests wurden die Ergebnisse unter Verwendung interner Analysen oder Architektursimulationen bzw. -modellen von Intel geschätzt oder nachempfunden. Sie dienen nur informatorischen Zwecken. Unterschiede in der Hardware, Software oder Konfiguration des Systems können die tatsächliche Leistung beeinflussen.

Produkt- und Leistungsinformationen