Als führender Plattformanbieter für Kurzvideos erfreut sich Kuaishou steigender Beliebtheit bei Großkunden für seine Echtzeit-Videoinhalte, die mit hoher Effizienz und Präzision übertragen werden. Angesichts des explosiven Anstiegs an Benutzern und Kurzvideos muss Kuaishou durchgehend fortschrittliche Technik einführen, um die Systemarchitektur feineinzustellen und zu optimieren. Auch das Datenspeichersystem, die Hauptkomponente für die Speicherung, Verteilung und Empfehlungen des Kurzvideosystems, steht großen Herausforderungen gegenüber, wenn es um die Optimierung und Leistungsverbesserung geht.
Als Reaktion auf die Herausforderungen, die die Anwendungsszenarien mit hohem Durchsatz und umfangreichen Datenanforderungen an die Kurzvideo-App stellen, hat sich Kuaishou für eine tiefgreifende technische Zusammenarbeit mit Intel zusammengetan: das Unternehmen zählt zu den ersten, die den persistenten Intel® Optane™ DC Speicher auf sein Empfehlungssystem und den Redis-Dienst anwenden. Darüber hinaus hat Kuaishou mit Feineinstellung und Optimierung der Software erfolgreich ein brandneues, heterogenes Empfehlungs-Datenspeichersystem geschaffen und den Redis-Dienst dahingehend optimiert, mehr Datenspeicherkapazität zu erzielen.
Die Tests und Praktiken von Kuaishou zeigen, dass der im neuen heterogenen Empfehlungs-Datenspeichersystem und mit dem aktualisierten Redis-Dienst eingesetzte persistente Intel Optane DC Speicher nicht nur eine ähnliche Leistung wie DRAM erbringt, sondern dank seiner hohen Kapazität und Nichtflüchtigkeit auch für eine bessere Systemverfügbarkeit sorgt. Darüber hinaus helfen die durch Kosteneinsparung und größeren Kapazitäten geschaffenen Vorteile gegenüber DRAM Kuaishou auch, die Gesamtbetriebskosten (TCO) seines Empfehlungssystems und des Redis-Dienstes zu reduzieren.
Vorteile der Kuaishou Lösung:
- Das heterogene Empfehlungs-Datenspeichersystem von Kuaishou, das auf dem persistenten Intel Optane DC Speicher aufbaut, erfüllt nicht nur umfassende Leistungsindikatoren wie Anfragevolumen, Netzwerkbandbreite und durchschnittliche Verarbeitungslatenz, sondern bietet auch weitere Vorteile in Bezug auf Kapazitäten und Kosten im Vergleich zu Lösungen mit DRAM
- Die Nichtflüchtigkeit des persistenten Intel Optane DC Speichers ermöglicht eine bessere Verfügbarkeit des Kuaishou Empfehlungssystems, was die Wiederherstellungszeit nach Fehlern um bis zu ein Hundertfaches verkürzt1
- Das heterogene Speichersystem von Kuaishou mit persistentem Intel Optane DC Speicher hilft, die TCO des Kuaishou Empfehlungssystems um 30% zu senken und kann gleichzeitig die Leistungsanforderungen erfüllen1
- Mit dem persistenten Intel Optane DC Speicher hat Kuaishou die Arbeitsspeicherkapazität einer einzigen Redis-Instanz mehr als verdoppelt. Die TCO für den Redis-Dienst konnten ebenfalls um 30% gesenkt werden2
Neuaufbau des Datenspeichersystems für ein Empfehlungssystem von enormem Ausmaß
Die wachsende Popularität von Kurzvideos im Internet bewirkt, dass immer mehr Menschen mit den entsprechenden Apps Kurzvideos aufzeichnen und teilen. Als führender Plattformanbieter für Kurzvideos in China verzeichnet Kuaishou täglich 200 Millionen aktive Benutzer und mehrere zehn Uploads von Kurzvideos pro Tag. 1 Bei der Entwicklung des Back-End-Systems wurde die Überbrückung von einer extrem hohen Anzahl von Benutzern und einer extrem hohen Anzahl von Videoinhalten zum Hauptanliegen für Kuaishou, damit mehr Benutzer jederzeit ihre bevorzugten Videos in Echtzeit auf das Display laden und auf „Like“ bzw. „Gefällt mir“ oder „Gefällt mir nicht“ klicken können.
In Reaktion auf die Anforderungen der Benutzer nach Empfehlungen von Videoinhalten in Echtzeit hat Kuaishou seit Beginn eine große Menge an Ressourcen in den Aufbau und die technische Aktualisierung seines aktuellen Empfehlungssystems investiert. Mit der steigenden Anzahl von Benutzern und Kurzvideos ist ein wesentliches Anliegen von Kuaishou, mithilfe eines Deep-Learning-Modells unterschiedlichen Benutzern geeignete Inhalte aus seinen Datenbanken aus mehreren zehn Milliarden von Kurzvideos zu empfehlen, und gleichzeitig zu Stoßzeiten Hunderttausende von simultan eingehenden Abrufen pro Sekunde zu unterstützen. Zu diesem Zweck folgt Kuaishou den neuesten technischen Trends und hat eine Empfehlungssystemarchitektur geschaffen, die auf heterogenen Geräten aufbauend die Rechen- und die Speicherkapazität getrennt verwahrt.
Wie in Abb. 1 dargestellt, übernimmt Kuaishou in seinem Empfehlungssystem eine Architektur aus getrennter Rechenkapazität und Datenspeicher. Sie besteht aus Rechendiensten (z. B. Empfehlung, Vorhersage und Abruf) und Datenspeicherdiensten (z. B. Benutzerprofile, der Parameter-Server und verteilte Indexierung). Die erst genannte ist zuständig für die Errechnung der Empfehlungsstrategie, Modellvorhersage und den Videoabruf, während letztere im Empfehlungssystem für Hunderte von Millionen an Benutzerprofilen Speicherkapazität und Aktualisierungskapazitäten, Milliarden von Kurzvideos und Hunderte von Milliarden abgestufter Modellparameter bereithält.
Abb. 1 Kuaishou Empfehlungssystemarchitektur durch getrennte Rechenkapazität und Datenspeicher.
Ein sehr geläufiges App-Szenario bei Kurzvideos ist die Zeitfragmentierung. Während Benutzer wahllos durch Wischen in der Kuaishou-App surfen, fällt die Zeit zur Datenverarbeitung durch das Empfehlungssystem häufig auf wenige Millisekunden. Neben der Gewährleistung einer leistungsstarken Strategieverarbeitung im Rechenmodul ist es zweifellos noch anspruchsvoller, Hunderte von Millionen von gespeicherten Daten zu aktivieren, um im Empfehlungssystem Unterstützung in Echtzeit bereitzustellen.
Daher übernimmt Kuaishou, je nach den variierenden App-Szenarien, unterschiedliche Ansätze der technischen Implementierung, die auf heterogener Ausstattung basieren. Nehmen wir die verteilte Indexierung als Beispiel: für den Datenabruf in Hochgeschwindigkeit ist die Leistungskraft der Indexierung in verteilten umfangreichen Datenspeicher-Clustern von entscheidender Bedeutung. Um die Indexierung bei hoher gleichzeitiger Nutzung zu steigern, übernimmt Kuaishou arbeitsspeicherbasierende Schlüsselwert-Datenbanken (KV= key value databases), um sein verteiltes Indexierungssystem zu konstruieren.
Die Leistung des Redis-Dienstes von Kuaishou, ein weiterer Eckpfeiler des Empfehlungssystems, hat einen erheblichen Einfluss auf die ausgegebenen Empfehlungen. Der Verlauf des Benutzerverhaltens in der Kurzvideo-App wird in der Redis-Datenbank gespeichert und schließlich zur Erstellung genauer Benutzerprofile verwendet. Je größer die Speicherkapazität, die für Redis-Instanzen verwendet werden kann, desto mehr Informationen können zum schnellen Zugriff im Arbeitsspeicher gespeichert werden. Infolgedessen werden Benutzerprofile immer spezifischer, was präzisere Empfehlungen für die einzelnen Benutzer ergibt.
Darüber hinaus unterstützt der Redis-Dienst auch stark die sozialen Interaktionen (z. B. „Likes“, Kommentare und Bullet-Screens, d. h. laufende Einblendung von Kommentaren) von Kurzvideos von Kuaishou. Die arbeitsspeicherbasierende Redis-Datenbank sorgt für einen reibungslosen Verlauf dieser sozialen Aktivitäten und so für ein hervorragendes Benutzererlebnis.
Angesichts des schnellen Datenanstiegs stehen der arbeitsspeicherbasierte Empfehlungsdienst von Kuaishou und der Redis-Dienst vor weiter wachsenden Herausforderungen. Einerseits erschwert die begrenzte Kapazität von DRAM in einem physischen Server die Arbeitsspeichererweiterung der verschiedenen Service-Instanzen. Andererseits erhöht der teure DRAM auch die TCO von Kuaishou erheblich. Die Flüchtigkeit von DRAM führt im System zu längeren Wiederherstellungszeiten nach einem Ausfall.
Um die Herausforderungen bewältigen und Benutzern auch weiterhin einen besseren Inhaltempfehlungsdienst bieten zu können, hat Kuaishou neben dem Einsatz von heterogenen Computing-Lösungen, die die Leistung ihrer Rechendienste steigern, eine tiefgreifende technische Zusammenarbeit mit Intel begonnen. Durch die Einführung des persistenten Intel Optane DC-Speichers hat Kuaishou sein Empfehlungs-Datenspeichersystem und die Redis-Datenbanken optimiert und umgestaltet.
Komplementäre Software und Hardware für größere Datenspeicherkapazität
In der herkömmlichen Datenspeicherarchitektur wird der persistente Hochkapazitäts-Datenspeicher hauptsächlich über Festplatten (HDDs) oder Solid-State-Laufwerke (SSDs) implementiert. Angesichts immer vielfältigerer Datenanwendung und höherer Ansprüche an die Datenspeicherkapazität wird die Hierarchie der Datenspeicheranforderungen immer komplexer. Die Verwendung von mehr DRAM ermöglicht zweifellos eine höhere Leistung, aber zwangsläufig auch höhere Kosten. Zur Behebung dieses Problems entschied sich Kuaishou, eine ganz neue heterogene Speicherstruktur für die Leistungs-, Kapazitäts- und Kostenoptimierung zusammenzustellen.
Im ursprünglichen Design von Kuaishou wurde Hochleistungs-DRAM für Speicher-Workloads verwendet, die neben der geringsten Kapazität Höchstleistung erfordern, während die SSDs und HDDs für persistente Speicher-Workloads eingesetzt wurden, die einen geringen Leistungsanspruch haben, dafür aber eine hohe Kapazität erfordern. Trotzdem musste sich Kuaishou überlegen, wie es in folgendem möglichen Szenario vorgehen sollte: Was wäre, wenn das Datenspeichersystem gleichzeitig einen hohen Anspruch nach Leistung, Kapazität und Datenbeständigkeit (Persistenz) hätte?
Abb. 2 Persistenter Intel® Optane™ DC Speicher ist die geeignete Wahl für Arbeitsspeicherleistung genauso wie für persistenten Datenspeicher mit hoher Kapazität.
Wie in Abb. 2 gezeigt, ist der persistente Intel Optane DC Speicher mit Intel® 3D XPoint™ Speicher die optimale Wahl, um bei Kuaishou die Lücke zu füllen. Diese innovative Speicherproduktreihe hat nicht nur eine ähnliche Lese-/Schreibleistung und Zugriffslatenz wie DRAM, sondern auch eine höhere Belastbarkeit als ein SSD, und liefert zugleich eine DRAM-vergleichbare Leistung in einem Systemszenario mit hohem Anspruch nach gleichzeitigen Empfehlungen. Darüber hinaus ermöglicht es Kuaishou, mit seiner großen Arbeitsspeicherkapazität eine Speicherdatenbank auf TB-Ebene aufzubauen. Noch wichtiger ist jedoch, das sie Datenpersistenz (oder Nichtflüchtigkeit im App-Direktmodus) bietet, was DRAM nicht kann, wodurch Kuaishous heterogenes Empfehlungs-Datenspeichersystem stärker verfügbar ist.
Zur Leistungsmaximierung des heterogenen Datenspeichersystems, das sich aus DRAM, persistentem Intel Optane DC Speicher, SSDs und HDDs zusammensetzt, arbeitet Kuaishou mit Partnerunternehmen wie Intel, um eine Machbarkeitsanalyse und ein Architekturdesign für verschiedene Szenarien zu erarbeiten, denen das Empfehlungssystem möglicherweise begegnet. Gleichzeitig entwirft es den KV-Speicher in der verteilten Indexierung und auf Parameter-Servern neu, wobei es sich an den Funktionsmerkmalen des persistenten Intel Optane DC Speichers orientiert.
Abb. 3 Heterogenes Datenspeichersystem mit persistentem Intel® Optane™ DC Speicher.
Das neue Design ist in Abb. 3 dargestellt, wobei der Systemarchitektur die MemPool-Komponente hinzugefügt wurde. Als Cache-Pool ermöglicht diese Komponente dem System, sich je nach Zugriffstyp entweder für DRAM oder den persistenten Intel Optane DC Speicher zu entscheiden. Wenn ein Parameter-Server beispielsweise für die Vorhersage eines Empfehlungsmodells verwendet wird, kann das neuronale Netzwerk von MemPool dem DRAM zugewiesen werden, um die Vorhersageleistung zu verbessern, da es kleiner als die im Modell einzubettenden Tabellen ist. Im Einsatzbereich der verteilten Indexierung ordnet das System ihr unterschiedliche Platten im persistenten Intel Optane DC Speicher zu (ein Mechanismus der Arbeitsspeicherverteilung) und orientiert sich dabei an der Größe der indizierten Daten, um die Leistung und Effizienz des Datenzugriffs zu verbessern.
Neben diesen wichtigen Designs hat Kuaishou auch Feinabstimmungs- und Optimierungslösungen implementiert, die sich auf die Funktionsmerkmale des persistenten Intel Optane DC Speichers stützen. Zunächst werden für den Datenzugriff die Verbindung nicht uniformer Memory-Access-Architekturknoten (NUMA) verwendet, um zu verhindern, dass der persistente Intel Optane DC Speicher beim Datenzugriff nicht zwischen unterschiedlichen NUMA-Knoten wechselt, damit eine bessere Lese-/Schreibleistung erzielt werden kann. Darüber hinaus hilft die Aufnahme von Lock-Free- und Zero-Copy-Technik auch, den häufigen Zugriff wichtiger Abschnitte auf den persistenten Intel Optane DC Speicher zu vermeiden und die Speicherbandbreitennutzung des Datenzugriffs zu reduzieren, was die Gesamtleistung des Datenspeichersystems erhöht. Zwischenzeitig ermöglicht die Nichtflüchtigkeit des persistenten Intel Optane DC Speichers die Wiederherstellung des neu entworfenen Indexierungssystems nach Ausfall in wenigen Minuten, eine hundertfache Steigerung im Vergleich zur bisherigen stundenlangen Wiederherstellung.1
Was den Redis-Dienst betrifft, ermöglicht der persistente Intel Optane DC Speicher mit hoher Kapazität Arbeitsspeicherkapazitäten auf TB-Ebene auf Kuaishous einzigem Redis-Server, was die Kapazität der einzigen Redis-Instanz von 4 GB auf 8 GB erhöht. Durch die Verdoppelung der Arbeitsspeicherkapazität einer Instanz schafft er eine stärkere Hardwarebasis für die weitere Entwicklung des Geschäftsbetriebs von Kuaishou.
Reduzierung der TCO bei gleichzeitiger Erfüllung die Leistungsanforderungen
Um nach Einsatz des persistenten Intel Optane DC Speichers und der Implementierung einer Reihe von Software-Optimierungen die tatsächliche Leistung von Kuaishous neuer heterogener Dateispeicherstruktur zu verifizieren, nutzten Kuaishou und Intel reale Online-Anfragedaten, um simulierte Stresstests auf entsprechenden Systemen mit persistentem Intel Optane DC Speicher, einschließlich des vom Empfehlungssystem verwendeten Indexierungssystems, durchzuführen.
Abb. 4 Stresstestergebnisse des Indexierungssystems mit persistentem Intel® Optane™ DC Speicher.
Diese Tests wurden in Anlehnung an die vier Hauptleistungsindikatoren des Empfehlungssystems durchgeführt: Anfragevolumen, Netzwerkbandbreite, durchschnittliche Verarbeitungslatenz und P99-Verarbeitungslatenz. Die Ergebnisse sind in Abb. 4 dargestellt.
Eindeutig weist der persistente Intel Optane DC Speicher eine ähnliche Leistung wie DRAM bei allen vier Hauptindikatoren auf, und der Unterschied zwischen beiden beträgt im Hinblick auf den Indikator der Netzwerkbandbreite lediglich 0.16%. 3
Der persistente Intel Optane DC Speicher mit größerer Kapazität, Nichtflüchtigkeit und geringeren Kosten im Vergleich zu DRAM ermöglicht es Kuaishou, bei vergleichbarer Leistung seine Kosten effektiver zu kontrollieren. Nach Schätzungen von Kuaishou hat die Einführung des persistenten Intel Optane DC Speichers die TCO für sein Empfehlungssystem und den Redis-Dienst um 30% reduziert. 1 2
Fazit
Als eines der ersten Internetunternehmen in China, das den persistenten Intel Optane DC Speicher in sein Empfehlungssystem aufnahm, hat Kuaishou mit seiner hervorragenden technischen Innovationskompetenz den Aufbau und die Anwendung einer heterogenen Speicherstruktur im Empfehlungssystem sowie die Anwendung eines Redis-Hochkapazitätsdienstes für Kurzvideodienste auf sinnvolle Weise untersucht. Inzwischen hat eine solche Untersuchung auch hervorragende Ergebnisse erzielt.
Mit Blick auf die Zukunft untersucht Kuaishou die mögliche Einrichtung eines gemeinsamen Labors mit Intel, um seine Geschäftsinnovation wie auch die Aktualisierung und Weiterentwicklung seiner Rechenzentren umzusetzen. Die Anwendung des persistenten Intel Optane DC Speichers stellt das erste Projekt dar, das während der Einrichtung des Labors implementiert wurde. Kuaishou wird seine Zusammenarbeit mit Intel in Zukunft fortsetzen, um die Werte eines angewandten persistenten Intel Optane DC Speichers in anderen Geschäftsszenarien oder Diensten zu untersuchen, wodurch die Optimierung und Transformation seiner verschiedenen Datenverarbeitungs- und Datenspeichersysteme gefördert wird.