Der Bedarf an mehr Daten in Echtzeit
Finanzdienstleister setzen zunehmend auf künstliche Intelligenz (KI), um Datenfluten zu bewältigen. Heute nutzen mehr als 90 % der 50 größten Banken weltweit Advanced Analytics, um die Geschwindigkeit und Qualität von Kunden- und Geschäftseinblicken zu verbessern. 1
Die Möglichkeit, historische Markt- und Kundendaten mit Echtzeitanwendungen und -analysen zu kombinieren, verbessert die Qualität der Erkenntnisse erheblich. Dies führt zu verbesserten Geschäftsentscheidungen sowie Mitarbeiter- und Kundenerlebnissen.
Finanzunternehmen stehen vor einer erheblichen Hürde: der exponentiell steigenden Datenmenge, die erforderlich ist, um die Qualität von Geschäftsentscheidungen zu verbessern. Echtzeit-Finanzdienstleistungen erfordern eine extreme Verarbeitungsleistung, um auf Petabytes aktueller und historischer Daten zuzugreifen, sie zu lesen und zu analysieren, während sie mit hoher Verfügbarkeit und einer Verarbeitungszeit von weniger als einer Millisekunde rechnen. Eine einzige Finanztransaktion kann 2.000 gleichzeitige Anfragen für Datenzugriff initiieren; jede Zahlungstransaktion kann Hunderte von Datenbank-Lese-/Schreibvorgängen erfordern; und das alles, während die Recheninfrastruktur der Institution Millionen ähnlicher Transaktionen pro Sekunde verarbeitet.2
Quantitative Analysten müssen in der Lage sein, schnelle und fundierte Entscheidungen zu treffen, indem sie historische Kunden- und Marktdaten sowie Kunden- und Marktdaten in Echtzeit analysieren. In der Welt der Finanzdienstleistungen wird Kundenservice zunehmend durch die Fähigkeit definiert, Kundenerlebnisse zu personalisieren. In einem kürzlich erschienenen Bericht hebt Forester „die Bedeutung der Kundenbindung durch engagierten und einfühlsamen Kundenservice“ hervor.3. Und Forbes fügt hinzu, dass „heute 89 % der Unternehmen hauptsächlich auf der Grundlage der Kundenerfahrung konkurrieren“. 4
Für Finanzdienstleistungsunternehmen müssen Daten sofort über alle Handels- und Analyseplattformen verbreitet werden. Dies ermöglicht KI und maschinellem Lernen (ML), Erkenntnisse zu gewinnen und gleichzeitig die Infrastruktur sicher zu schützen.
Bei Finanz- und Zahlungsanwendungen ist Geschwindigkeit entscheidend. Eine Latenzverzögerung von nur wenigen Millisekunden kann zu betrügerischen oder ungesicherten Transaktionen und inakzeptablen Risiken führen. Aus diesem Grund verlassen sich Anbieter digitaler Zahlungen zunehmend auf den Zugriff auf mehr Daten, die alle in Echtzeit geliefert und analysiert werden, um sichere digitale Zahlungen und damit verbundene Dienste bereitzustellen.
Um dieses Niveau an Transaktionsleistung bereitzustellen und aufrechtzuerhalten, sind Lösungen erforderlich, die vor allem skalierbar sein müssen. Skalierbarkeit ist wichtig, um Ihre Infrastruktur zukunftssicher zu machen, um diesen sich ändernden Workloads gerecht zu werden. Legacy-Infrastrukturen und veraltete Speichertechnologien speichern Transaktionsdaten und Analysedaten jedoch in separaten Speichersilos, was den gemeinsamen Zugriff auf Transaktionsdaten und historische Daten für eine sofortige Analyse behindert.
Skalierbarkeit bedeutet, keine Kompromisse bei Geschwindigkeit (Rechenleistung) oder Genauigkeit (Datensatzgröße) eingehen zu müssen. Dies ermöglicht schnellere Einblicke: für die quantitativen Analysten, die Investitionsentscheidungen treffen, für die Produktmanager im Privatkundengeschäft, die kundenspezifische Produkte entwickeln und das Bankkundenerlebnis verbessern, oder die Sicherheits- und Regulierungsexperten, die das Finanzinstitut und seine Kunden vor Betrug und Risiken schützen.
Skalierbarkeit bedeutet, keine Kompromisse bei Geschwindigkeit (Rechenleistung) oder Genauigkeit (Datensatzgröße) eingehen zu müssen und gleichzeitig schneller Erkenntnisse zu gewinnen.
Die Begrenzung von Legacy-Technologien
Herkömmlicherweise befinden sich heiße Daten im DRAM, während ältere Daten im Speicher verbleiben. Aber heute ist ein schneller Zugriff auf alle Daten ein Muss, da DRAM zu teuer für die Skalierung ist, um Schritt zu halten – und das Lesen und Schreiben in den Speicher zu Latenzen führt.
Da die Datenmenge exponentiell zunimmt, kann herkömmliches DRAM nicht skaliert werden, um die Nachfrage zu erfüllen. Die Wachstumsraten für die DRAM-Dichte verlangsamen sich im Laufe der Zeit, da die Skalierung kostspielig und komplex wird. Die kritischen, datenintensiven Workloads, die auf diesen Servern ausgeführt werden, müssen jedoch mehr heiße Daten im Speicher bereitstellen.
In-Memory-Datenbanken – die es ermöglichen, riesige Datensätze in aktivem DRAM zu speichern – sind ein neuer Fortschritt in der Datenverarbeitungsarchitektur und können die Datenverarbeitungsgeschwindigkeit, Leistung und Flexibilität für Finanzdienstleistungsanwendungen erheblich verbessern. Die großen Mengen an DRAM-Kapazität, die zum Ausführen umfangreicher In-Memory-Datenbanken erforderlich sind, sind jedoch kostenintensiv. Darüber hinaus sind DRAM-Medien auch flüchtig, und wenn ein Verarbeitungsknoten oder eine Anwendung aus irgendeinem Grund heruntergefahren wird, gehen die Daten auf diesem Knoten verloren. Die Wiederherstellung eines Datensatzes nach einem unvorhergesehenen harten Herunterfahren kann Stunden, wenn nicht Tage dauern, ein Luxus, den sich zeitkritische Finanzdienstleistungsanwendungen nicht leisten können. Was Finanzinstitute brauchen, ist eine neue skalierbare Datenarchitektur, die eine erschwingliche große Kapazität, nahezu DRAM-Verarbeitungsgeschwindigkeit und nichtflüchtigen Speicher bietet.
Diese Realitäten haben zu einem Bedarf an einer neuen Speicherebene zusammengeführt, um die große Speicherkapazität und -skalierung mit den Geschwindigkeits- und Latenzeigenschaften von DRAM in Verbindung mit Hardwareverschlüsselung bereitzustellen. Die Lösung ist die Intel® Optane™ Technik.
Die erste neue Arbeitsspeicher- und Speichertechnologie seit 25 Jahren gibt es in zwei Formaten: Persistenter Intel® Optane™ Speicher (Intel® Optane™ PMem) und Intel® Optane™ Solid State Drives (Intel® Optane™ SSDs). Diese Technik fügt im Wesentlichen zwei Schichten Arbeits- und Datenspeicher hinzu, um die Kapazitäts-, Kosten- und Leistungslücke zwischen DRAM (Nanosekunden) und NAND-SSDs (Mikrosekunden) zu schließen. Wenn wir dies aus Sicht der Computerpyramide betrachten, sitzt Intel Optane PMem direkt unter DRAM im Speicher und bietet speicherähnliche Leistung zu geringeren Kosten mit NAND-ähnlicher Persistenz. In der Zwischenzeit befinden sich Intel Optane SSDs über Cold Storage und liefern schnellere Datenschreibvorgänge und Informationsabrufe (gleichzeitiges Lesen und Schreiben) und verringern gleichzeitig Engpässe selbst bei hoher Last.
Intel Optane PMem ist eine revolutionäre Technologie, die Geschwindigkeits- und Leistungsherausforderungen angeht, indem sie eine neue Rechenarchitektur mit der Fähigkeit bietet, das Potenzial riesiger Datenspeicher freizusetzen. Intel Optane PMem bietet einen abgestuften Speicheransatz, der eine einzigartige Kombination aus erschwinglicher hoher Speicherkapazität und Unterstützung für Datenpersistenz bietet. Dies trägt nicht nur zur Beseitigung von Leistungsengpässen im Rechenzentrum bei, sondern beschleunigt auch Anwendungen und erhöht die Skalierung pro Server, sodass Banken und andere Finanzdienstleistungsunternehmen erhebliche Leistungssteigerungen erzielen und die Gesamtbetriebskosten der Infrastruktur senken können.
Intel Optane SSDs ermöglichen eine neue Speicherebene zwischen Intel Optane PMem und herkömmlichem Flash-Speicher oder NAND-SSDs, die schnelles Caching oder schnelles Speichern heißer und warmer Daten bietet. Im Gegensatz zu herkömmlichen NAND-basierten SSDs bieten Intel Optane SSDs eine hohe zufällige Lese-/Schreibleistung. Sie bieten im Vergleich zu NAND-SSDs eine geringe Latenz, mehr Laufwerksschreibvorgänge pro Tag, eine längere Lebensdauer und eine konsistente Reaktionsfähigkeit – selbst unter hoher Last. Und im Gegensatz zu NAND können Intel Optane SSDs ohne Leistungseinbußen gleichzeitig lesen und schreiben.
Sehen wir uns an, wie Intel Optane PMem und Intel Optane SSDs mit neuen innovativen Softwaretechnologien kombiniert werden, um noch leistungsfähigere Lösungen für Finanzdienstleistungsinstitute zu schaffen.
Persistenter Intel® Optane™ Speicher und MemVerge
Um einen Marktvorteil zu wahren, haben sich Finanzunternehmen und Intel mit MemVerge Inc. zusammengetan, um Memory Machine* zu entwickeln, die branchenweit erste „Big Memory“-Softwareumgebung. Memory Machine ist führend bei softwaredefiniertem Speicher und bietet die Möglichkeit, DRAM und den Persistenter Intel® Optane™ Speicher zu virtualisieren, um Speicher-E/A-Engpässe kostengünstig zu beseitigen. MemVerge virtualisiert DRAM und Intel Optane PMem in große persistente Speicherpools und ermöglicht eine sofortige Skalierung, indem es die verfügbare Speicherkapazität zu 100 % nutzt und gleichzeitig neue Betriebsfunktionen für speicherzentrierte Workloads bereitstellt.
MemVerge Memory Machine abstrahiert den Speicherpool, damit alle Anwendungen den persistenten Speicher ohne Codeänderungen nutzen können. Das Ergebnis ist, dass Intel Optane PMem mit DRAM-ähnlicher Leistung unter Verwendung von DRAM und persistentem Speicher in einer zweistufigen Speicherhierarchie arbeitet. In einer Umgebung mit virtuellen Maschinen (VM) kann Memory Machine dabei helfen, sowohl die Anzahl als auch die Größe von VMs auf einem einzelnen Server zu skalieren. Memory Machine bietet auch Flexibilität bei der Zuweisung von DRAM und persistentem Speicher zu einzelnen VMs.
Dies ist laut TechTarget möglich, weil im Gegensatz zu Intel Optane PMem die meisten Anwendungen nicht dafür ausgelegt sind, effizient in flüchtigem DRAM zu laufen. Der Anwendungscode muss zunächst für den Speicher neu geschrieben werden, der keine Datendienste enthält oder die gemeinsame Nutzung von Daten durch mehrere Server ermöglicht. Die Kombination von Intel Optane [Persistent Memory] mit MemVerge Memory Machine erhöht die Byte-adressierbare Speicherkapazität des Hauptspeichers erheblich, sagte Eric Burgener, Vice President of Storage beim IT-Analyseunternehmen IDC.“5
Dies ermöglicht zwar den sofortigen Zugriff auf riesige Datensätze, ermöglicht aber auch eine wichtige neue große Speicherfunktion namens MemVerge ZeroIO*. Ein Memory Machine-Datendienst, der In-Memory-Snapshots erstellt. MemVerge ZeroIO kann schnell Terabytes an Daten aus dem persistenten Speicher für einen Systemneustart und um Größenordnungen schneller als aus dem Speicher wiederherstellen.
Jetzt sind Handels- und Finanzmarktdatenanalysen nicht nur einfacher bereitzustellen, sondern Sie können auch schneller KI- oder ML-Modelle trainieren und daraus schlussfolgern und mit größeren Datensätzen im Speicher arbeiten. Sie können auch mehr Abfragen in kürzerer Zeit ausführen und den Speicher konsistent zwischen Servern replizieren.
Die Ergebnisse sind umwerfend. Ein aktuelles Briefing von MemVerge zeigt, wie die Wiederherstellungszeiten für eine Redis-Datenbank um das 33-fache beschleunigt wurden. MemVerge fasste seine Ergebnisse wie folgt zusammen: „Mit Intel Optane PMem und der Memory Machine-Software kann ein Arbeitsspeicher sicher auf Petabyte skaliert werden, da dies jetzt möglich ist, sich nach einem Absturz in Sekundenschnelle zu erholen.”6
MemVerge berichtete auch, dass dieser Prozess für einen Kunden aus der Finanzdienstleistungsbranche früher drei Stunden dauerte, um 500 GB an Daten wiederherzustellen. Intel Optane PMem gepaart mit der Memory Machine-Software reduzierte den Prozess auf nur 2 Sekunden (eine 5400-fache Leistungssteigerung).6
Die Wiederherstellung nach einem Absturz verbesserte sich von 3 Stunden auf 2 Sekunden7, wenn der Persistenter Intel® Optane™ Speicher mit MemVerge Memory Machine*-Software gekoppelt ist.
Intel® Optane™ SSDs und VAST-Daten
VAST durchbricht den jahrzehntealten Kompromiss zwischen Speicherleistung und Kapazität, um eine maßstabsgetreue Verarbeitung von Marktdaten zu ermöglichen und KI-Datensätze zu trainieren. Mit VAST Universal Storage* kann Ihr Marktdatenarchiv auf einer Ebene eines skalierbaren, erschwinglichen Flash-Speichers gespeichert werden, wodurch es möglich ist, Handelsmodelle in Echtzeit zu testen und zu trainieren.
Banken und Hedgefonds haben aufgrund der Ineffizienz mechanischer Medien und des klassischen Tiered-Storage-Datenmanagements Schwierigkeiten, mit den Anforderungen ihrer quantitativen Forscher Schritt zu halten. Daten wachsen in einem beispiellosen Tempo, und Trading Desks müssen in der Lage sein, sehr schnell auf riesige Datenmengen – sogar historische Daten – zuzugreifen.
Vor über 30 Jahren führte Gartner das Speicher-Tiering-Modell ein, um die Rechenzentrumskosten zu optimieren, indem es Kunden riet, ältere und weniger wertvolle Daten auf kostengünstigere (und langsamere) Speicherebenen zu verschieben. 30 Jahre später hat die Verbreitung von Speichertechnologien in Unternehmen ein unüberschaubares Ausmaß erreicht – in dem viele der weltweit größten Unternehmen Dutzende verschiedener Arten von Speichergeräten verwalten.
Diese Unternehmen müssen die Möglichkeit haben, für drei Monate, sechs Monate oder sogar Jahre Backtests durchzuführen. Sie benötigen die Daten, um Muster zu erkennen, tief greifende Trendanalysen durchzuführen und den gesamten KI-Datenlebenszyklus zu unterstützen, um genauere Modelle zu erstellen. Selbst kleine Anstiege der Genauigkeit von Finanzmodellen können einen enormen Unterschied machen.
Leider stecken viele immer noch in einem abgestuften Datensystem fest, mit nur 15 bis 30 Prozent der Daten auf Hochleistungs-Flash. Der Rest wird aus Kostengründen auf kostengünstigen, langsamen Tiers gespeichert. Beim Tiered-Ansatz müssen Unternehmen ständig bedeutende Datensätze entwerten, indem sie sie auf Tiers platzieren, die bis zu hundertmal langsamer sein können als das Netzwerk. Darüber hinaus können Kunden zwar kurzfristig einige Einsparungen erzielen, aber mehrere Speicherebenen verursachen mehr Probleme. Beispiel: Speicherbenutzer müssen Workflows erstellen, um Daten zwischen primärem und sekundärem Speicher hin und her zu verschieben und/oder zu kopieren. Benutzer können außerordentlich viel Zeit damit verbringen, ihre Anwendungen auf eine Vielzahl von Speichersilos auszugleichen, während die Anwendungswartezeit erheblich sein kann, wenn Daten zwischen Archiv- und Produktionsspeicher übertragen werden.
Mit dem Vorteil neuer, unterstützender Technologien, die vor 2018 nicht verfügbar waren, kann das Universal Storage-Konzept von VAST einen zuvor unmöglichen Architekturdesignpunkt erreichen. Das System kombiniert kostengünstige QLC-Flash-Laufwerke und Intel Optane SSDs mit zustandslosen, containerisierten Speicherdiensten. All dies ist über neue NVMe-over-Fabric-Netzwerke mit niedriger Latenz verbunden, um eine DASE-Scale-Out-Architektur (Disaggregated Shared Everything) zu schaffen.
Das Design von VAST umfasst eine Mischung aus Intel-Optane-SSDs und QLC-basierten SSDs, und die Art und Weise, wie die Intel Optane Technik eingesetzt wird, löst die Schreibleistungs- und Ausdauerherausforderungen von QLC.
In einem kürzlich erschienenen IDC-Bericht heißt es: „In dieser cachelosen Architektur werden alle Schreibvorgänge zuverlässig auf die Intel Optane SSD geschrieben, was extrem niedrige Schreiblatenzen bietet. Aufgrund der relativ großen Größe der Intel Optane SSD-Schicht (es handelt sich nicht um eine Ebene, da die Intel Optane SSD und QLC zusammen als eine einzige Ebene vom VAST-Speicherbetriebssystem verwaltet werden) können Schreibvorgänge im Vergleich zu älteren Cache-basierten Architekturen sehr lange aufbewahrt werden, bevor sie auf die kostengünstigeren QLC-Medien geschrieben werden müssen. Lese- und Schreibvorgänge erfolgen von der Intel Optane SSD-Oberfläche, während Datenzugriffsmuster vom Speicherbetriebssystem erkannt werden und unter Verwendung dieser Daten Schreibvorgänge zu sequenziellen Strömen von „ähnlichen Daten“ zusammengeführt werden, um sie schließlich in großen Blockgrößen an QLC auszulagern. Dies soll den Bedarf für die Garbage Collection auf Geräte- oder Systemebene reduzieren und die Lebensdauer der QLC-Medien erhöhen. Dieser Ansatz ermöglicht die Verwendung von QLC-Medien in schreibintensiven Unternehmensumgebungen, und VAST Data bietet eine 10-jährige Flash-Medien-Lebensdauergarantie, um die Realisierbarkeit dieser Designentscheidung zu unterstreichen.8
Gemeinsam sorgen Intel Optane-Technologien und VAST Data für Umwälzungen in der Finanzdienstleistungsbranche. Die innovative Verwendung von Intel Optane SSDs im Universal Storage von VAST Data trägt dazu bei, die Kosten der Flash-Infrastruktur zu senken, wodurch die Komplexität des Speicher-Tierings ein Ende hat. Jetzt können Finanzorganisationen die zahlreichen Marktdaten auf einer einzigen Ebene von erschwinglichem Flash-Speicher nutzen und dabei helfen, neue Korrelationen zu finden und die Genauigkeit von Handelsmodellen zu verbessern.
Die Intel® Optane™ Technik ermöglicht insgesamt eine größere Datenskalierbarkeit und ermöglicht revolutionäre neue Geschäftsmodelle und Kundenerlebnisse. Dieses neue Arbeitsspeicher- und Speicherportfolio kann Finanzdienstleistungsinstituten dabei helfen, jetzt und in Zukunft effektiv und effizient Wert aus riesigen Datensätzen zu ziehen. Auf der Speicherseite können Unternehmen mit MemVerge und dem Persistenten Intel® Optane™ Speicher von der massiven Speicherskalierbarkeit profitieren. Auf der Speicherseite können sie die einzigartigen Fähigkeiten von Intel® Optane™ SSDs nutzen, um den Speicher zu skalieren und gleichzeitig Kosten- und Leistungsaspekte in Einklang zu bringen. Die Intel Optane Technik ist ein wirklich bahnbrechender Bestandteil für die Finanzdienstleistungsbranche.