Ein großer Breitbandnetzbetreiber mit Millionen von Kundenendpunkten sind mit Herausforderungen konfrontiert, bei denen es darum geht, den Nutzen aus den Telemetriedaten zu ziehen, die die Netzwerkausrüstung generierten. VelociData half dem Betreiber, diese Herausforderungen zu bewältigen, indem eine Data-Fabric-Lösung verwendet wird, die auf einer Vielzahl von Intel® Techniken aufgebaut ist. Jetzt kann der Netzwerkbetreiber große Mengen von Streamingdaten in Echtzeit nutzen, um große Kapitalausgaben (CapEx) zu reduzieren, Umsatzerlöse zu erzielen und die Servicequalität (QoS) zu verbessern.
Das Versprechen und die Herausforderung der Nutzung von Netzwerkdaten
Breitbandanbieter ermöglichen die Bereitstellung schneller, zuverlässiger Internetdienste für Millionen von Kunden. Dies zu bewerkstelligen erfordert Millionen von Netzwerkgeräten, von Kundenendpunkten über Kabelmodem-Abschluss-Systeme (CMTSs) bis zu Gateways an riesige Router, die das Rückgrat des Netzwerks darstellen. Diese Geräte steuern nicht nur den Datenverkehr zu und von Kunden, sondern generieren auch massive Ströme von Echtzeitdaten über die Gerätenutzung und den Zustand. Die Nutzung all dieser Netzwerkdaten kann äußerst wertvolle Erkenntnisse bieten, um den Geschäftsbetrieb zu fördern, von großen Kapitalinvestitionsentscheidungen bis zur Betrugserkennung und Kundenunterstützung.
Ein solcher Netzwerkbetreiber verfolgte eine Vision, dass das Netzwerk selbst erhebliche Erkenntnisse darüber bietet, was innerhalb des Netzwerks vorging: wie beschäftigt es war, wo es beschäftigt war, wie es verwendet wurde, welche Art von Datenverkehr transportiert wurde und wo das Datenvolumen wahrscheinlich wachsen würde. Um aus diesen Daten echten Nutzen zu erhalten, erkannte das Unternehmen, dass es speziell konzipiertes Datenmaterial benötigte, das entwickelt wurde, damit der gesamte Datenstrom des Netzwerks für analytische Modellierung, künstliche Intelligenz (KI) und Entscheidungswissenschaft nutzbar gemacht wird.
Die Arbeit mit Streaming-Daten in Echtzeit in diesem Maß – nicht Millionen, aber zehn Milliarden von Daten jeden Tag – wäre unter den besten Umständen schwierig. Die Herausforderung ist nicht nur die Daten zu sammeln, sondern auch sie zu entpacken und sie in Echtzeit im Internetformat zu analysieren, ohne wertvolle Informationen zu verlieren, selbst wenn es Verzögerungen oder Ausfälle in den Komponenten oder Verbindungen gibt.
Diese Herausforderung wird durch ein heterogenes Netzwerk verschiedener Hardware-, Software- und Datenprotokolle erschwert, die nicht auf die Zusammenarbeit ausgelegt waren, und die nicht immer etablierte Standards erfüllen.
Was ist Datenmaterial?
Datenmaterial kann zuerst als kohärente many-to-many-Verbindung unter mehreren Datenquellen und mehreren Datenabnehmern betrachtet werden. In diesem Fall sind die Datenquellen die Millionen von Geräte im Netzwerk, die Telemetriedaten erzeugen, und die Datenabnehmer sind die Menschen und Systeme, die versuchen, verschiedene Arten des Geschäftswerts aus diesen Daten zu extrahieren.
Aber Datenmaterial stellt mehr als eine Vielzahl von Datenverbindungen dar. Hier eine Analogie – wenn die Gerätedaten die Rohstoffe (Wolle) sind, die in die nutzbaren Informationsströme (Garn) transformiert werden, dann entsteht das Datenmaterial, wenn alle diese Ströme verflochten werden, um einen Wandteppich zu bilden – ein vollständiges, zeitkohärentes Bild verschiedener Netzwerkdaten insgesamt. Dieses gesamte Datenmaterial ermöglicht dem Betrieb, die Technik, das Marketing und das Geschäftspersonal eine vollständige Sichtbarkeit und Erkenntnisse des Netzwerks zu erhalten, die den Geschäftswert bieten.
Aufbau einer Lösung mit VelociData
Der Netzwerkbetreiber wandte sich an VelociData für einen umfassenden Ansatz bei der Anschaffung, Betreuung und Analyse der ununterbrochenen Feuerwehrschläuche von Daten aus Netzwerkelementen, was ein großes und strategisch wichtiges Teil seines gesamten Datenmaterials darstellt.
VelociData will zeitnahe und nutzbringende Erkenntnisse aus dem nicht endenden Strom komplexer Daten in vielen Formaten und Strukturen von Geräten des gesamten Netzwerks ermöglichen. Die Lösung musste die folgenden Ziele in Echtzeit erreichen:
- Daten bei hoher Geschwindigkeit und hoher Skalierbarkeit erwerben
- Erschließen Sie die vielfältigen und komplexen Protokolle der Daten
- Aufrechterhaltung der Vollzeitkohärenz auf mehreren Strömen
- Formatieren Sie die Daten für die Verwendbarkeit in der analytischen Verarbeitung
- Liefern Sie die Daten an menschliche und digitale Verbraucher
- Analysieren und präsentieren Sie die Daten auf die handlungsrelevanteste Art und Weise
All dies muss mit Daten in ständiger Bewegung durchgeführt werden, und die Lösung muss die Datenintegrität und Konsistenz behalten, unabhängig davon, was im System geschieht. Verzögerungen, Ausfallbedingungen und Datenlücken müssen alle in Echtzeit behandelt werden, oder der Informationswert der Daten geht verloren.
VelociData lieferten die Lösung in Form von Geräten, die auf standardmäßigen Dell Technologies Servern basieren, wie dem Dell EMC PowerEdge R740-Server. Die Server sind mit fortschrittlicher Intel Technik ausgestattet, die VelociData voll nutzt, um eine End-to-End-Lösung mit Leistung und Widerstandskraft bereitzustellen.
Die wichtigsten Intel Techniken, die in der Lösung verwendet werden, umfassen:
- Intel® Arria® 10 Field Programmable Gate Arrays (FPGAs) zum Parsen und Indexieren von Daten bei 10 Gigabits pro Sekunde (Gbit/s) Raten, die nutzbare Datenformate wie Kommagetrennte Werte (CSV), XML und JavaScript Object Notation (JSON) bietet. FPGA SmartNICs mit Intel Technik sind auf der VelociData Roadmap.
- Skalierbare Intel® Xeon® Prozessoren (ursprünglich Intel® Xeon® Gold 6150 Prozessoren) mit spezialisierten Streaming SIMD Extensions 4.2 (SSE4.2) Vektorbefehlssätzen, insbesondere für das Parsing von Daten (Tokenisierung des Eingangsstroms).
- NUMA-optimierte Streamingalgorithmen im Speicher, um die verfügbare Bandbreite vollständig zu nutzen, indem sie Daten in die Nähe des Prozessors setzen, der sie verwenden muss.
- Intel® Ethernet Converged Network Adapter XL710 Netzwerkadapter Netzwerkkarten-Hardware zur Paketaufzeichnung bis zu 40 Gbit, und Data Plane Development Kit (DPDK) zur Paketaufzeichnung und Überprüfung – dies ersetzt einen unterbrechungsgesteuerten Treiber durch einen gut implementierten Polling-Modus-Treiber, der einen höheren Durchsatz ermöglicht, und gleichzeitig dabei hilft, den CPU-Overhead zu senken.
VelociData verbrachte erhebliche Anstrengungen, die Anwendungen zu optimieren, um die Vorteile der Hardware-Plattform zu nutzen. Entwickler sorgten für eine enge Koordination zwischen den Rechen- und Datenspeicherelementen, machten sorgfältig vom Vektorbefehlsdatensatz Gebrauch und optimierten die parallele Verarbeitung für niedrige Latenzen. VelociData baute auch eine eigene FPGA Direct Memory Access (DMA) Engine, Treiber und Bibliotheken auf, die zu extrem geringen Kommunikationen zwischen FPGA und dem CPU-Speicher geführt haben.
Abbildung 1. VelociData Network Data Fabric Architektur.
Die Geräte führen zwei verschiedene VelociData Software-Pakete aus, die als Raptor und Vortex bezeichnet werden, wie in Abbildung 1 dargestellt. Raptor versteht die Sprachen der Netzwerkgeräte und Vortex spricht die Sprachen der Datenanalysen und KI-Tools.
Raptor ist der Datensammungsteil der Lösung. Er verbindet sich mit allen verschiedenen Elementen des Netzwerks (wie Routern und CMTSs), um Daten mit Protokollen zu extrahieren, die Simple Mail Transfer Protocol (SMTP), IP Detail Record (IPDR), NetFlow und andere umfassen. Raptor versteht alle verschiedenen Protokollformate, Datenfelder und Nuancen verschiedener Gerätemarken. Er analysiert alle Datenfelder aller Netzwerkelemente und verwandelt die Daten in das proprietäre gemeinsame Datenformat von VelociData für die Verwendung in Netzwerküberwachung, Berichterstattung und Automatisierungsanwendungen.
Vortex integriert Daten der Dell Technologies Server, die Raptor mit Daten aus anderen Systemen und Anwendungsquellen ausführen, um eine umfassende Netzgeschäftsansicht an mehrere Destinationen einschließlich Amazon Simple Storage Service (Amazon S3) und Kafka in einem standardisierten Format für die Nutzung durch Maschinen und Menschen zu erstellen und zu liefern.
Die Vorteile gut konzipierten Datenmaterials
Die VelociData Lösung für diesen Netzwerkbetreiber läuft seit mehreren Jahren zuverlässig. Der Betreiber profitierte von einem umfassenden Spektrum an Diensten und Erkenntnissen, die aus der Verfügbarkeit dieses Datenmaterials im Maßstab resultieren.
Breitband ist ein kapitalintensives Geschäft und das Datenmaterials hat diesem Netzwerkbetreiber eine verbesserte Fähigkeit gegeben, die zukünftige Auslastung vorherzusagen und kapitalintensive Entscheidungen entsprechend zu treffen. So kann das Datenmaterial bei der Entscheidung helfen, wie das Unternehmen mehr Fasern bereitstellen sollte – in welchen geografischen Bereichen, für welche Benutzer, zu welchen Kosten und mit welcher erwarteten Kapitalrendite (ROI). Das Unternehmen hat erweiterte Modelle entwickelt, um diese Fragen zu beantworten, zum Teil basierend auf den Daten, die von der VelociData Lösung bereitgestellt wurden.
Eine andere Art der Modellierung hat bei der Betrugserkennung geholfen. Gehackte Kabelmodems oder „Klone“, die das Netzwerk täuschen, um legitim auszusehen, sind ein erhebliches Problem für Breitbandanbieter.
Analyse mit maschinellem Lernen (ML) ermöglicht es diesem Betreiber, Klone zu identifizieren und zu deaktivieren, und in einigen Fällen sogar den Umsatz durch den Verkauf legitimer Modems und Verträge an die Leute, die die Klone verwenden, zu erhöhen.
Eine Reihe der Datenanwendungen des Betreibers dreht sich um die Diagnose. Kundensupport und seine Infrastruktur sind ein großer Kostenfaktor für jeden Breitbandanbieter, damit Anwendungen, die vorsorglich Netzwerkprobleme erkennen und diagnostizieren können, eine wichtige Chance zur Kostensenkung darstellen. Nehmen wir beispielsweise an, ein Streaming-Dienst verpixelt für mehrere Kunden. Daten von Netzwerkgeräten können das Problem erkennen, bevor es überhaupt von einem Kunden gemeldet wird. Und basierend darauf, wo das Problem im Netz auftritt, kann eine automatisierte Diagnose festlegen, ob die Quelle des Problems in einem Wohnblock oder an einem Knoten ist, der eine größere Anzahl der Kunden verbindet. Diese Sichtbarkeit in Echtzeit im gesamten Netzwerk ermöglicht dem Betreiber, mehr granulare und geeignete Diagnosefunktionen durchzuführen, die Kosten senken können. Es ist beispielsweise kostspielig, ein Team zur Fehlerbehebung in einem Wohnblock zu schicken, wenn das Problem sich an anderen Orten befindet.
Der Netzwerkbetreiber hat zahlreiche andere Verwendungen für das Datenmaterial entdeckt. Der Betreiber hat Kunden-Personal auf Basis der Nutzungsdaten erarbeitet und dieses Personal verwendet, um den Prozess der neuen Produktentwicklung zu verbessern. Der Betreiber konnte auch die Auswirkungen auf QoS modellieren, die wahrscheinlich aus der Bereitstellung eines neuen Produkts oder Dienstes resultieren, was viel effizienter als die alte empirische Methode bei der Bereitstellung des Produkts oder des Dienstes ist, und dann zu sehen, was passiert.
Eingesetzter Datenstrom des Netzwerks
VelociData hat eine Vielzahl von Technologien und Systemen von Intel genutzt, um ein ununterbrochenes Datensystem zu schaffen, das Einblicke in und größere Optimierungen für Geschäftslösungen und Geschäftsvorgänge für einen großen Breitbandnetzanbieter bietet. VelociData lieferte Millionen von Dollar an erhöhtem Wert, der vom Netzwerkbetreiber aus ihren Echtzeitdaten realisiert wird, indem es dem Unternehmen die Möglichkeit gibt, die Kapitalplanung zu optimieren, betrügerische Verhaltensweisen zu erkennen, QoS zu verbessern und Betriebskosten zu enthalten.
Über VelociData
VelociData ist ein führender Innovator beim Streamen von Datenerhebung, Verarbeitung und Lieferungen in Echtzeit, und es arbeitet eng mit Intel zusammen, um Kunden zu helfen, das Optimum aus ihren Systemen herauszuholen. Mit Software, die einfach zu bedienen ist, außergewöhnlich zuverlässig und äußerst kostengünstig ist und von einem tiefen Portfolio grundlegender Streamingdatenpatente gestützt wird, bietet VelociData den weltweit größten und schnellsten Unternehmen leistungsstarke Datenlösungen für Finanzdienstleistungen, Gesundheitswesen, Netzwerkmanagement und mehr in Echtzeit.
Weitere Informationen
Weitere Informationen über die programmierbare Intel Logik.
Besuchen Sie den Intel Acceleration Hub.