Ermöglichen Sie Photon, das Beste aus den neuesten Intel-Prozessoren für Datenanalyse und KI-Workloads herauszuholen
Da Unternehmen mit zunehmenden Datenmengen zu kämpfen haben, wird es immer wichtiger, effektive Wege zum Speichern und Analysieren dieser Daten zu finden. Data Lakes und Data Warehouses bieten eine groß angelegte Speicherinfrastruktur für unstrukturierte bzw. strukturierte Daten. Databricks kombiniert Funktionen aus beiden, um riesige Mengen an strukturierten und unstrukturierten Daten mit ihrer Lakehouse-Plattform zu speichern und zu analysieren. Die in der Lakehouse-Plattform enthaltene Photon Engine ist eine vektorisierte Abfrage-Engine, die die Leistung von SQL-Abfragen beschleunigen, Geschäftseinblicke noch früher liefern und Kosten senken kann.
Der von TPC-DS abgeleitete Entscheidungsunterstützungs-Benchmark misst die Leistung von Data Warehousing, indem eine festgelegte Anzahl von Abfragen ausgeführt und die Zeit bis zum Abschluss aufgezeichnet wird. Schnellere Abfragen führen zu weniger VM-Betriebszeit, für die zu zahlen ist. Ein Photon-fähiger Microsoft Azure E8ds_v4-VM-Cluster mit skalierbaren Intel Xeon-Prozessoren der 2. Generation beendete beispielsweise die Abfrage eines 1-TB-Databricks-Clusters in 65 % weniger Zeit und zu 35 % geringeren Kosten als derselbe Cluster mit deaktiviertem Photon. Photon funktioniert auch mit größeren Datensätzen; derselbe E8ds_v4-Cluster mit Photon beendete die Abfrage eines 10-TB-Databricks-Clusters in 62 % weniger Zeit und 30 % geringeren Kosten als ohne Photon.
Verbessern Sie die Leistung vom Data Warehouse mithilfe von Photon
Je früher die Abfragen zur Datenanalyse abgeschlossen sind, desto schneller können Sie die Erkenntnisse zur Verbesserung und Erweiterung Ihres Unternehmens umsetzen. Um zu zeigen, wie gut Photon die Abfrageleistung verbessern kann, haben wir unseren 8-vCPU Edsv4-Cluster mit deaktiviertem und aktiviertem Photon getestet. Abbildung 1 zeigt, wie der E8ds_v4-Cluster mit aktiviertem Photon einen 1 TB Datensatz in 65 % kürzerer Zeit als derselbe Cluster ohne Photon und einen 10 TB Datensatz in 68 % kürzerer Zeit bewältigte.
Mit Photon einen besseren Wert schaffen
Die Verwendung von Photon beschleunigt nicht nur die Zeit bis zu Erkenntnissen, sondern diese Geschwindigkeit bedeutet auch weniger VM-Betriebszeit, für die Sie bezahlen müssen. Wie Abbildung 2 zeigt, würde der E8ds_v4-Cluster mit aktiviertem Photon 35 % weniger kosten, um ein 1-TB-Dataset auszuführen, als derselbe Cluster mit Photon, und 30 % weniger, um ein 10-TB-Dataset auszuführen. Wie Sie sehen können, führen kürzere Laufzeiten zu Einsparungen.
Fazit
Wenn Sie die beste Entscheidungsunterstützungsleistung von Ihren E8ds_v4-VMs wünschen, verwenden Sie das Databricks Photon-Abfragemodul, um die Abfrageabschlusszeit zu verkürzen. Diese 8-vCPU-VMs mit skalierbaren Intel Xeon-Prozessoren der 2. Generation erledigten einen TPC-DS-Job auf einem Databricks-Cluster in bis zu 65 % weniger Zeit mit aktiviertem Photon, was zu Kosteneinsparungen von bis zu 35 % führte. Wenn es um Datenanalyse geht, treffen Sie die kluge Wahl und entscheiden Sie sich für E8ds_v4-VMs mit skalierbaren Intel® Xeon® Prozessoren der 2. Generation mit aktiviertem Photon.
Weitere Informationen
Um mit dem Ausführen Ihrer Databricks-Cluster mit aktiviertem Photon auf Microsoft Azure Edsv4-VMs mit skalierbaren Intel Xeon-Prozessoren der 2. Generation zu beginnen, besuchen Sie https://docs.microsoft.com/de-de/azure/virtual-machines/edv4-edsv4-serie.
Um mehr über die hier beschriebenen Ergebnisse zu erfahren und zu erfahren, wie die Microsoft Azure Edsv4-VMs im Vergleich zu ähnlichen AMD-VMs abschneiden, lesen Sie den Bericht unter https://www.intel.de/content/www/de/de/partner/workload/microsoft/enhance-databricks-azure-vms-benchmark.html.