Erzielen Sie bis zu 90 % mehr Durchsatz für Apache Kafka® auf der Confluent Platform™ mit AWS EC2 R5-Instanzen mit skalierbaren Intel® Xeon® Prozessoren der 2. Generation

Kafka

  • Erhalten Sie bis zu 90 % mehr Apache Kafka Durchsatz mit AWS r5.xlarge Instanzen mit skalierbaren Intel Xeon Prozessoren der 2. Generation im Vergleich zu AWS r4.xlarge Instanzen.

  • Erhalten Sie bis zu 23 % mehr Apache Kafka Durchsatz mit AWS r5.xlarge Instanzen mit skalierbaren Intel Xeon Prozessoren der 2. Generation im Vergleich zu AWS c5.xlarge Instanzen.

author-image

Von

R5-Instanzen übertrafen sowohl R4-Instanzen als auch C5-Instanzen mit den gleichen oder Prozessoren der vorherigen Generation

Unternehmen, die Workloads für das Streaming von Daten in Echtzeit auf der Amazon Web Services (AWS) EC2-Cloud ausführen möchten, können es schwierig finden, zu erkennen, welcher Instanztyp die von ihnen benötigte Kafka-Leistung bietet. Um zu zeigen, wie beliebte AWS-Instanzen abschneiden, haben wir die Leistung von Apache Kafka® auf der Confluent Platform™ bei drei Instanztypen in einer containerisierten Kubernetes-Umgebung verglichen:

  • AWS R5-Instanzen mit skalierbaren Intel® Xeon® Prozessoren der 2. Generation
  • AWS R4-Instanzen mit Intel Xeon E5-2686 v4 Prozessoren
  • AWS C5-Instanzen mit skalierbaren Intel Xeon Prozessoren der 1. oder 2. Generation

Gemessen mit dem Kafka Producer Performance Tests in Apache Kafka 2.7.0 verbesserten AWS R5-Instanzen mit skalierbaren Intel Xeon Prozessoren der 2. Generation den Durchsatz von Kafka auf der Confluent Plattform im Vergleich zu R4-Instanzen der vorherigen Generation um 90 %. Dies zeigt, dass für Workloads auf Echtzeit-Datenplattformen die Auswahl von AWS R5-Instanzen mit neuerer Prozessortechnik eine bessere Streaming-Leistung von Kafka auf der Confluent Plattform bieten kann, als Instanzen, die auf früheren Prozessorgenerationen basieren. Darüber hinaus boten die speicheroptimierten R5-Instanzen 23 % mehr Durchsatz als die rechenoptimierten C5-Instanzen. Da Daten schneller verarbeitet und durch die Pipeline transportiert werden, können diese Instanzen mehr Kundenanforderungen pro Instanz ohne merkliche Latenz verarbeiten.

Erhalten Sie eine bessere Kafka-Leistung durch AWS R5-Instanzen

Die erste Testrunde verglich 12-Knoten-Cluster von zwei speicheroptimierten Instanztypen: die AWS R5-Instanzen mit skalierbaren Intel Xeon Prozessoren der 2. Generation mit älteren R4-Instanzen (siehe Abbildung 1). Teilweise aufgrund der neueren Prozessoren lieferten die R5-Instanzen fast den doppelten Kafka-Durchsatz von R4-Instanzen mit älteren Prozessoren.

Abbildung 1: Relativer Apache Kafka-Durchsatz für AWS R4-Instanzen im Vergleich zu AWS R5-Instanzen mit skalierbaren Intel Xeon Prozessoren der 2. Generation. Höhere Zahlen sind besser.

Vergleich der Kafka-Leistung über Instanztypen hinweg

Wie Abbildung 2 zeigt, übertrafen auch 12-Knoten speicheroptimierte AWS R5-Instanzcluster mit skalierbaren Intel® Xeon® Prozessoren der 2. Generation 12-Knoten rechenoptimierte AWS C5-Instanzcluster, die auf skalierbaren Intel Xeon Prozessoren der 1. oder 2. Generation laufen. Im Vergleich zu den C5-Instanzen boten AWS R5-Instanzen 23 % mehr Kafka-Durchsatz – ein starker Anstieg der Anzahl der Ereignisse, die jede Instanz bewältigen kann.

Abbildung 2: Relativer Apache Kafka-Durchsatz für AWS C5-Instanzen im Vergleich zu AWS R5-Instanzen mit skalierbaren Intel Xeon Prozessoren der 2. Generation. Höhere Zahlen sind besser.

Testkonfigurationen

Abbildung 3 zeigt, wie wir jeden Apache Kafka-Cluster in unseren Tests für jeden VM-Typ konfiguriert haben.

Abbildung 3: Die Apache Kafka Cluster-VMs für jede Konfiguration.

Fazit

Auf verteilten Event-Streaming-Plattformen wollen Unternehmen Kundentransaktionen und Interaktionen in Echtzeit verarbeiten – ohne erhebliche Verzögerungen. Die Tests zeigen, dass Unternehmen, die Apache Kafka auf der Confluent Plattform in der AWS-Cloud ausführen, mehr Ereignisse verarbeiten können, wenn sie AWS R5-Instanzen mit skalierbaren Intel® Xeon® Prozessoren der 2. Generation auswählen und Kunden so schnellere und skalierbare Leistung bieten.

Weitere Informationen

Um Kafka auf Amazon EC2 R5-Instanzen auszuführen, besuchen Sie https://aws.amazon.com/ec2/instance-types/r5/.

12-VM-Cluster-Tests von Intel Juli-August 2021. Alle Konfigurationen EBS-Datenspeicher auf CentOS 7 3.10.0-1160.6.1.el7.x86_64 Confluent Platform 6.0.0-post openjdk version „1.8.0_292“ Apache Kafka 2.7.0 (Kafka Producer Performance Test) Producer Settings: Einspeisungsrate: 120.000 Datensätze/Sek., Datensatzgröße: 1 kB, Ausführungsdauer: 10 Min., Anzahl der Themen: 1, Themenpartitionen: 24, Broker Settings: log.dirs:/dev/sda1(EBS), num.io.threads:16, num.network.threads:8, num.partitions:1. VMs: r4.xlarge, 4vcpus, Intel Xeon® E5-2686 v4, 30,5 GB gesamter DDR4 Arbeitsspeicher; r5.xlarge, 4vcpus, Intel Xeon® Platinum 8000 Prozessoren, 32 GB gesamter DDR4 Arbeitsspeicher; c5.xlarge, 4vcpus, Intel Xeon® Platinum 8000 Prozessoren, 8 GB gesamter DDR4 Arbeitsspeicher.