Mehr als nur ein Telekommunikationsnetzbetreiber: Vom traditionellen Geschäftsmodell zur Informationsrevolution
SoftBank Corp. betreibt verschiedene Geschäftsfelder, die sich um mobile Kommunikation, Breitbanddienste und Festnetztelefonie drehen und auf dem Firmenslogan „Informationen Revolution – Happiness for everyone“ basieren. Das Unternehmen, das das Kommunikationsgeschäft der SoftBank Group seit vielen Jahren anführt, wird seit Dezember 2018 in der First Section der Tokioter Börse geführt und hebt die Informationsrevolution derzeitig mit seiner „Beyond Carrier“-Strategie, die über das traditionelle Geschäftsmodell von Telekommunikationsanbietern hinausgeht, auf ein neues Level. Das Ziel der Strategie ist es, in einer Vielzahl von Branchen innovative Dienste bereitzustellen und künftiges Wachstum zu fördern.
Im Hauptkommunikationsgeschäft bieten SoftBank, Y!mobile und LINE MOBILE, ein Multi-Carrier-MVNO, mit diesen drei Marken Lösungen für verschiedene Bedürfnisse. SoftBank und Y!mobile liefern in Kooperation mit Yahoo!, einer der größten Portal-Websites in Japan, einzigartige Dienste. Neben der Entwicklung von Glasfaserschaltkreisen für Festnetz- und Firmendienste fördern wir auch technische Entwicklungen und engagieren uns mit Demo-Experimenten für neue Service-Lösungen, die fortschrittliche Technik einsetzen, zum Beispiel KI, IoT, Roboter und automatisches Fahren. Mit diesem Ansatz zielen wir auf die praktische Anwendung von hoher Geschwindigkeit, großer Kapazität und geringer Latenz im 5G-Bereich ab.
Die IT Infrastructure Division, IT Division, unterstützt die Beyond-Carrier-Strategie des Unternehmens, die kontinuierliche Innovationen und das Lösen von Herausforderungen zum Ziel hat. „Kommunikationsdienste und ihre Infrastruktur sind heute eine unverzichtbare Komponente in unserem Alltag und im Unternehmensbereich, und ihre Bedeutung wächst stärker als je zuvor“, erklärte Tadashi Suzuki, Senior Director, IT Infrastructure Division, Information Technology Division. „Die Funktion unserer IT Division besteht darin, die neueste Technik einzusetzen und gleichzeitig der Sicherheit und Stabilität der Kommunikation Priorität einzuräumen – und die Menschen durch die Informationsrevolution glücklich zu machen.“
Mithilfe der Validierung der Funktions- und Leistungsmerkmale von persistentem Intel® Optane™ Speicher die Serverkonsolidierungsrate verbessern
Als Telekommunikationsnetzbetreiber setzt SoftBank über 10.000 virtuelle Maschinen für die interne IT-Infrastruktur ein, hauptsächlich für geschäftskritische Systeme, Informationssysteme, die von rund 45.000 Mitarbeitern des Unternehmens und der Partnerunternehmen verwendet werden, Anwendungen, die im alltäglichen Betrieb zum Beispiel in Call-Centern, Store-Systemen oder Abrechnungssystemen in Mobile Shops eingesetzt werden, und Consumer-Services wie Smartphone-Anwendungen oder Cloud-Services. Seit SoftBank Mobile, SoftBank BB, SoftBank Telecom und Y!mobile 2015 fusioniert haben, hat das Unternehmen mehrere verteilte Rechenzentren und über 1.000 Racks verwaltet.
SoftBank hat vor über 10 Jahren eine Virtualisierungsplattform eingeführt, um die Effizienz der Infrastruktur zu verbessern, aber die Hardware ist zunehmend veraltet und die Anzahl der bei Ausfällen notwendigen Schritte steigt Jahr für Jahr. Als Ergebnis der Einführung der Virtualisierungsplattform am richtigen Ort für die Geschäftsanwendung wurden Hypervisoren kommerzieller Produkte wie VMware, Hyper-V, Xen, KVM und OpenStack von OSS in der Plattform kombiniert.
Mit über 1.000 virtuellen Maschinen, die jedes Jahr größer werden, stieg auch der Platzbedarf für Racks im Rechenzentrum. Um die Serverkonsolidierungsrate zu steigern und die Infrastrukturkosten zu reduzieren, bauten wir daher 2018 eine integrierte Virtualisierungsplattform mit VMware und starteten im Juni 2019 mit der Konsolidierung der Systeme, die auf der vorherigen Virtualisierungsplattform liefen.
Als wir jedoch die Ressourcennutzung der Virtualisierungsinfrastruktur am Ende der Migration von rund 1.000 virtuellen Maschinen überprüften, fanden wir heraus, dass die Arbeitsspeicherzuweisung beinahe am Limit war (100 %), obwohl die CPU-Auslastung noch Spielraum hatte. Kohei Tanemura, Director, IT Infrastructure Department, IT Infrastructure Division, Information Technology Division, erklärte dies folgendermaßen:
„Aufgrund der Spitze beim Kommunikationszugriff investieren wir basierend auf der Kapazität für den Zeitraum mit hoher Frequenz in die Plattform. Obwohl die CPU-Nutzung fluktuiert, ist die Kapazität des ursprünglich zugewiesenen Arbeitsspeichers festgelegt und reserviert und kann zuerst an die Grenzen stoßen. Im Vergleich zu CPUs, die mehr virtuelle Ressourcen als physische Ressourcen auch bei übermäßiger Bindung zuweisen können, ist eine übermäßige Bindung bei Arbeitsspeicher nicht empfehlenswert, und die Arbeitsspeicherressourcen werden beim Versuch, die Konsolidierungsrate zu steigern, zuerst ausgereizt sein.“
Um diese Probleme zu lösen, setzte SoftBank auf persistenten Intel Optane Speicher. Dieser nichtflüchtige Speicher ermöglicht sowohl hohe Zugriffsleistung als auch hohe Kapazität. Das Unternehmen entschied sich sofort nach der Einführung durch Intel im April 2019 für den Einsatz dieses Speichers. SoftBank wollte ermitteln, ob die Technik in der integrierten Virtualisierungsplattform eingesetzt werden könnte, und überprüfen, wie sie sich im Betrieb verhielt und ob sie nützlich sein würde. „Der Zweck besteht darin, das Serverdesign zu analysieren, das in Zukunft eingeführt werden soll, und zu überprüfen, ob es zu einer Steigerung der Serverkonsolidierungsrate beitragen kann“, erinnert sich Yusuke Omiya, Manager, ebenfalls vom IT Infrastructure Department.
Überprüfung der Faktoren Implementierung, Funktion, Leistung und Design in einer Konfiguration, die kommerziellen Umgebungen ähnelt
Die IT Infrastructure Division erhielt zwei Server mit persistentem Intel Optane Speicher als Evaluierungssysteme und entschied, die Verifizierung in einer Konfiguration durchzuführen, die einer kommerziellen Umgebung entspricht. Das Unternehmen stellt ein kommerzielles Umfeld mit 16 Servern, 2 Netzwerkgeräten und 1 Dateispeichereinheit in einem Serverrack bereit. Dieses Mal wurden zwei der 16 Server im Serverrack durch Evaluierungssysteme ersetzt, und die Verifizierung wurde durchgeführt, ohne Konfigurationsänderungen der Netzwerk-, Datenspeicher- oder Virtualisierungsumgebung von VMware vorzunehmen. „Unser Unternehmen steigert die Verfügbarkeit, indem es jede Rackeinheit lose verbindet. Daher sind die Auswirkungen innerhalb des Racks begrenzt, selbst wenn ein Fehler auftritt, und das Gesamtsystem wird nicht beeinträchtigt“, erklärt Omiya. Die folgende Zusammenfassung gibt einen Überblick über die Verifizierung.
Evaluierungssystem
Server 1
- CPU: Intel® Xeon® Gold 6252 Prozessor
- Arbeitsspeicher: persistenter Intel Optane Speicher, 128 GB x 12 (1,5 TB)
- Arbeitsspeicher-Cache: DRAM, 16 GB x 12 (192 GB)
- SSD: SATA, 480 GB, NVMe*, 4 TB
- Netzwerkanschluss: 2-Port-10-Gbit-Anschluss
Server 2
- CPU: Intel® Xeon® Platinum 8260L Prozessor
- Arbeitsspeicher: persistenter Intel Optane Speicher, 256 GB x 12 (3,0 TB)
- Arbeitsspeicher-Cache: DRAM, 32 GB x 12 (384 GB)
- SSD: SATA, 480 GB, NVMe*, 4 TB
- Netzwerkanschluss: 2-Port-10-Gbit-Anschluss
Validierungsplan
Die Validierung wurde über einen dreimonatigen Zeitraum von Juli bis September 2019 durchgeführt. Im ersten Monat führte das Unternehmen eine Untersuchung der Umgebung durch, machte interne Anpassungen und erstellte einen spezifischen Verifizierungsplan. Im August startete die Arbeit vor Ort im Rechenzentrum, wo eine Verifikationsumgebung aufgebaut wurde. Die tatsächliche Verifizierung begann in der zweiten Augustwoche, wobei die Funktions- und Leistungsüberprüfungen rund drei Wochen in Anspruch nahmen. Im September wurde ein Langzeittest durchgeführt. In diesem Zeitraum wurde der Betrieb einen Monat lang aufrechterhalten, wobei die CPU-Auslastung bei annähernd 100 % lag. Zudem waren Konfigurationsänderungen der Verifikationsumgebung in dieser Zeit ein No-Go. Die Ergebnisse dieser Leistungsüberprüfung waren die Basis für das Design der tatsächlichen Anwendung, dessen Ausarbeitung sodann begann.
Validierungsaspekte
Bei dieser Überprüfung wurden die folgenden neun Tests für vier Aspekte durchgeführt: Bereitstellung, Funktion, Leistung und Design. Validierungsaspekte sind auch für kommerzielle Zwecke realistisch und decken alles von der ersten Installation über Funktions- und Leistungstests bis hin zur Messung des Energieverbrauchs ab. Omiya sagt: „Ein wichtiger Punkt bei der Produktion ist der Stromverbrauch. Wir verwalten mehr als 1.000 Racks in mehreren Rechenzentren, aber die pro Rack verfügbare Energie ist festgelegt. Daher mussten wir sicherstellen, dass der Verbrauch bei dieser Überprüfung im akzeptablen Bereich liegt.“
Bereitstellungsmodelle
- Installation: Betriebssystem kann mit internen Standardverfahren installiert werden
- vCenter/Cluster hinzufügen: Hinzufügung zu vCenter/Cluster möglich
Funktion
- Grundlegende Funktionen: Verifizierung der grundlegenden Funktionen von VMware, z. B. Implementierung virtueller Maschinen, VMotion, DRS
- Test der Störanfälligkeit: Test einer kombinierten Umgebung aus VMware HA und einem Server, wobei die Energieversorgung abgeschaltet wird
- Langzeittest: Einmonatiger Langzeittest mit 100 % CPU-Auslastung während das geliehene Evaluierungssystem zur Verfügung steht
Leistung
- Benchmarking: Benchmark-Test auf Servern mit persistentem Intel Optane Speicher
- Benchmark-Vergleich: Vergleich der Benchmarks mit bestehenden Servern
Design
- Messung des Energieverbrauchs: Messung des Energieverbrauchs, der für das Design erforderlich ist
- Vorläufiges Design: Vorläufiges Design für den Zeitpunkt, wenn persistenter Intel Optane Speicher eingeführt wird
Validierungsergebnisse
Die Implementierung und Funktionstests wurden erfolgreich abgeschlossen und zeigten, dass die Lösung in einer kommerziellen Umgebung verwendet werden kann. Die Überprüfung der Serverleistung mit dem Benchmark-Tool UnixBench hatte folgende Ergebnisse: Die mit Intel® Xeon® Gold 6252 Prozessoren ausgestatteten Verifizierungssysteme zeigten höhere Werte als das aktuelle System mit Intel® Xeon® Silver 4114 Prozessor. Die Konfiguration und Messung erfolgte auf einer VM mit 8-Kern-Prozessor und 32 GB.
Die Messung der Arbeitsspeicherlatenz mit dem Benchmark-Tool LMbench3 zeigte keine signifikante Änderung im Fall einer 8-Kern-Konfiguration mit 32 GB. Bei der Konfiguration und Messung einer VM mit 8-Kern-Prozessor und 384 GB lag die Latenzspitze in der bestehenden Umgebung bei 110 ns. Im Vergleich dazu erreichte sie in der Serverumgebung mit Intel Xeon Gold 6252 Prozessor und persistentem Intel Optane Speicher 340 ns.
Das ist wahrscheinlich darauf zurückzuführen, dass die VM eine Arbeitsspeicherkapazität von 384 GB hat und dass die Datenmenge anstieg, da es zu einem Überlauf des DRAM-Puffer-Bereichs (384 GB) kam und Daten in den persistenten Intel Optane Speicher geschrieben wurden. Letztendlich stellte SoftBank fest, dass kein Problem besteht, wenn Anwendungen für Tests verwendet werden.
Alle Virtualisierungsplattformen, die nach Februar 2020 eingeführt werden, werden durch Systeme mit persistentem Intel Optane Speicher ersetzt werden. Wir werden mit rund 300 Servern mit persistentem Intel Optane starten und diese migrieren und im Einsatz haben.“ – Kohei Tanemura, Director, IT Infrastructure Department, IT Infrastructure Division, Information Technology Division
Mögliche Senkung der geschätzten Kosten pro VM um 41 % im Jahresvergleich
Die Ergebnisse der Verifizierung zeigten, dass die Arbeitsspeicherzuweisung pro VM um 33 % verbessert werden konnte1 und dass bis zu 3-mal mehr VMs eingesetzt werden können. Bei der tatsächlichen Beschaffung entschied sich das Unternehmen für den Intel® Xeon® Gold 6222V Prozessor, der eine ähnliche Anzahl von Kernen und einen geringen Energieverbrauch hat. Infolgedessen wird der Preis pro VM Schätzungen zufolge ebenfalls 41 % niedriger sein als die Beschaffungskosten im ersten Halbjahr 2018. Das Unternehmen geht davon aus, dass die Serverkosten pro System 15 % höher sein werden, allerdings wird die höhere Konsolidierungsrate die Anzahl der Server und VMware-Lizenzkosten – und damit auch die Gesamtkosten – reduzieren.
Durch die Steigerung des Konsolidierungsverhältnisses pro physischem Server wird zudem die Anzahl der Rack-Installation pro jährlicher Nachfrage abnehmen, wodurch der im Rechenzentrum verfügbare Platz effizienter genutzt werden kann. Darüber hinaus wird vermutlich auch der Umfang des gemeinsam genutzten Datenspeichers proportional zur Anzahl der Racks sinken.
Austausch der gesamten integrierten Virtualisierungsinfrastruktur durch persistenten Intel Optane Speicher
Da die Ergebnisse der Verifizierung den Erwartungen entsprachen, entschied die IT Infrastructure Division, bei der Serverbeschaffung für Virtualisierungsinfrastruktur ab dem zweiten Halbjahr des Geschäftsjahres 2019 auf einen Server mit persistentem Intel Optane Speicher umzusteigen. „Alle Virtualisierungsplattformen, die nach Februar 2020 eingeführt werden, werden durch Systeme mit persistentem Intel Optane Speicher ersetzt werden. Wir werden mit rund 300 Servern mit persistentem Intel Optane starten und diese migrieren und im Einsatz haben“, sagt Tanemura.
Die IT Infrastructure Division, die auf eine neue Virtualisierungsplattform umgestiegen ist, erwägt nun den Einsatz von persistentem Intel Optane Speicher in der Datenbank und in MEC-Bereichen (Multi-access Edge Computing). Darüber hinaus werden die Ergebnisse dieser Verifizierung auf die Abteilung für Anwendungsentwicklung und die DevOps-Abteilung in der IT Division angewendet. „Die vollständige Inanspruchnahme des VM-Arbeitsspeichers ist in allen Abteilungen ein Problem. Wir werden Informationen aktiv teilen, um die Effizienz unternehmensweiter Systeme zu verbessern. Wir sind alle bereits gespannt auf die neuesten Informationen von Intel“, sagt Suzuki.
Persistenter Intel Optane Speicher
Dieser kostengünstige Arbeitsspeicher mit hoher Kapazität und geringer Latenz bietet Leistungsmerkmale, die nahe an DRAM heranreichen (bis zu 40-mal schneller als herkömmliche SSDs). Darüber hinaus ist dieser Speicher nichtflüchtig, was bedeutet, dass die Daten erhalten bleiben, selbst wenn der Server zum Beispiel aufgrund eines Fehlers ausgeschaltet wird.
Es gibt zwei Betriebsmodi: Während im „App Direct Mode“ ultraschneller, nichtflüchtiger Speicher zur Verfügung steht, kann der „Memory Mode“ in gleicher Weise wie herkömmlicher DRAM als Arbeitsspeicher mit hoher Kapazität verwendet werden. Da die Verwendung des Speichers im Memory Mode gemessen an der Anzahl der Bytes günstiger ist, lässt er sich als günstige RAM-Alternative mit beinahe an DRAM heranreichender Leistung einsetzen.
Herausforderung
- Platzbedarf im Rechenzentrum reduzieren
- Serverkosten senken
- Mehr Arbeitsspeicher pro Server
Lösung
- Persistenter Intel Optane Speicher
- Intel Xeon Gold 6222V Prozessor
Ergebnisse
- Schnelle Reaktion
- 33 % höhere Arbeitsspeicherzuweisung pro VM1
- Bis zu 3-mal höhere VM-Kapazität1
- Senkung der VM-Kosten pro System um 41 % im Jahresvergleich1
- Effizientere Nutzung des im Rechenzentrum verfügbaren Platzes
SoftBank Corp.
Gründung: 9. Dezember 1986
Kapital: 204.309 Mio. Yen (Stand: 31. März 2019)
Umsatz: 3.746,3 Mrd. Yen (zum Ende des Geschäftsjahres im März 2019)
Angestellte: ca. 17.100 (Stand: 31. März 2019)
Geschäftsfelder: Bereitstellung von Mobilfunkdiensten, Verkauf von Mobilgeräten, Bereitstellung von Festnetzdiensten, Bereitstellung von Internetverbindungsdiensten