Mit aktivierter Photon Vectorized Query Engine lieferten diese VMs eine höhere Leistung bei der Entscheidungsunterstützung als Easv4 VMs mit AMD EPYC Prozessoren
Databricks und Databricks Lakehouse Platform speichern und analysieren die riesigen Mengen an Daten - sowohl strukturierte als auch unstrukturierte -, die Unternehmen sammeln. Je schneller Sie diese Daten analysieren können, desto schneller kann Ihr Team damit fundierte Geschäftsentscheidungen treffen. Für speicherintensive Unternehmensanwendungen wie Data Warehousing/Decision Support Workloads verfügt Microsoft Azure über mehrere VM-Reihen: Edsv4 VMs mit skalierbaren Intel® Xeon® Prozessoren der 2. Generation und Easv4 VMs mit AMD EPYC Prozessoren. Als Hilfestellung bei der Auswahl von Cloud-VMs für Workloads zur Entscheidungsunterstützung haben wir einen Workload zur Entscheidungsunterstützung auf einem E8ds_v4-Cluster mit 20 Knoten und Databricks Runtime 9.0 getestet. Anschließend testeten wir dieselbe Arbeitslast auf einem E8as_v4-Cluster mit 20 Knoten und bewerteten erneut die Zeit bis zum Abschluss von Abfragen sowie das Preis-Leistungs-Verhältnis, um Erkenntnisse zu gewinnen. Auf beiden VMs haben wir Photon aktiviert, eine vektorisierte Abfrage-Engine, die die Leistung von SQL-Abfragen beschleunigen kann.
Wir stellten fest, dass Edsv4 VMs mit Intel Xeon Prozessoren der 2. Generation eine schnellere Databricks-Leistung als Easv4 VMs aufwiesen, was die Zeit bis zum Abschluss von Abfragen verkürzte und gleichzeitig einen besseren Gesamtwert verfügte.
Steigern Sie die Leistung Ihres Data Warehouse mit Edsv4 VMs
Wir haben Tests unter Verwendung eines von TPC-DS abgeleiteten Entscheidungshilfe-Benchmarks durchgeführt, der die Data Warehouse-Leistung anhand der Zeit misst, die für die Ausführung einer Reihe von Abfragen benötigt wird. Kürzere Zeiten bedeuten schnellere Antworten, was die laufenden Kosten für die VM-Betriebszeit senken kann. Wie Abbildung 1 zeigt, verfügten E8ds_v4 VMs mit skalierbaren Intel® Xeon® Prozessoren der 2. Generation über eine bessere Databricks-Workload-Leistung als E8as_v4 VMs mit AMD EPYC Prozessoren. Bei einem 1 TB großen Datensatz reduzierte die E8ds_v4-Cluster-Abfrage die Fertigstellungszeit um 31 % gegenüber dem E8as_v4-Cluster. Bei einem 10 TB großen Datensatz reduzierte der E8ds_v4-Cluster die Abfragezeit um 23 % im Vergleich zum E8as_v4-Cluster.
Bessere Leistung bei besserem Preis
Die Leistung ist nicht das Einzige, was Sie bei der Auswahl von VMs zur Ausführung Ihrer Databricks-Workloads berücksichtigen müssen. Auch die laufenden Kosten für ihren Betrieb müssen wirtschaftlich sinnvoll sein. Wir haben die Kosten für die Ausführung der Workloads anhand des Preises pro Stunde zum Zeitpunkt des Tests ermittelt. Wir haben die gesamte Abfrageverarbeitungszeit von Millisekunden in Stunden umgerechnet, die stündlichen Kosten für die Instanzen und den Speicherplatz kombiniert und den Preis pro TB für alle vier Szenarien berechnet. Wie Abbildung 2 zeigt, bietet die Ausführung von Entscheidungsunterstützungs-Workloads auf Edsv4 VMs einen besseren Wert als Easv4 VMs. Bei einem Datensatz von 1 TB verfügte der E8ds_v4-Cluster mit skalierbaren Intel® Xeon® Prozessoren der 2. Generation über ein um 30% niedrigeres Preis-/Leistungsverhältnis als der E8as_v4-Cluster mit AMD EPYC-Prozessoren. Das Preis-/Leistungsverhältnis für den 10 TB großen Datensatz war ähnlich, wobei der E8ds_v4-Cluster das Preis-/Leistungsverhältnis um 22 % gegenüber dem E8as_v4-Cluster senkte.
Fazit
Microsoft Azure E8ds_v4 VMs mit skalierbaren Intel® Xeon® Prozessoren der 2. Generation erledigen entscheidungsunterstützende Arbeitslasten in bis zu 31% weniger Zeit als E8as_v4 VMs mit AMD EPYC Prozessoren. Diese Leistungsverbesserung führte zu einer Kosteneinsparung von bis zu 30%. Diese Ergebnisse zeigen, dass die Wahl von E8ds_v4 VMs mit skalierbaren Intel® Xeon® Prozessoren der 2. Generation über ein ausgewogenes Verhältnis von Leistung und Preis für die Ausführung von Databricks Entscheidungsunterstützungs-Workloads verfügt, so dass Ihr Unternehmen mehr Daten verarbeiten und schneller Erkenntnisse gewinnen kann.
Weitere Informationen
Wenn Sie Ihre Databricks-Cluster auf Photon-aktivierten Microsoft Azure Edsv4 VMs mit skalierbaren Intel® Xeon® Prozessoren der 2. Generation betreiben möchten, besuchen Sie https://docs.microsoft.com/en-us/azure/virtual-machines/edv4-edsv4-series.
Die vollständigen Testdetails und Ergebnisse, die zeigen, wie diese mit skalierbaren Intel® Xeon® Prozessoren der 2. Generation ausgestatteten VMs im Vergleich zu VMs mit Prozessoren der vorherigen Generation abgeschnitten haben, finden Sie in dem Bericht unter https://www.intel.de/content/www/de/de/partner/workload/microsoft/enhance-databricks-with-azure-vms-benchmark.html.