Confluent beschleunigt CI/CD um 70 %, nachdem es von Jenkins zu Semaphore migriert ist.

In diesem Video finden Sie Antworten auf folgende Fragen:

Warum ist Confluent von Jenkins zu Semaphore migriert?

Confluent nutzte Semaphore bereits für mehrere Cloud-Workloads und entschied sich, alle CI/CD-Prozesse auf einer einzigen Plattform zu bündeln. Ziel war es, den Wartungsaufwand zu reduzieren, die Developer Experience zu vereinheitlichen und den Overhead durch mehrere Systeme zu vermeiden.

Wir wollten ein einheitliches CI/CD-System für das ganze Unternehmen – ohne dass Teams ständig zwischen Tools wechseln müssen.

Welche Workflows wurden migriert?

Als Erstes wurden die Packaging- und Release-Pipelines der Confluent Platform (CP) umgezogen. Diese Pipelines verarbeiten mehr als 35–40 Komponenten und bauen sowie releasen komplexe Kombinationen wie Tarballs, RPMs, Debian-Pakete, JAR-Libraries und Docker-Images – sowohl für All-in-One- als auch für modulare Deployments.

Solche komplexen Workflows zu migrieren war nicht einfach, aber der Aufwand hat sich gelohnt – unsere Prozesse sind jetzt effizienter und besser skalierbar.

Welche Designprinzipien haben die Migration geprägt?

Das Team hat die Jenkins-Pipelines nicht einfach eins zu eins übernommen, sondern sie nach klaren Prinzipien neu gestaltet:

• Modularisierung: Monolithische Jenkins-Stages wurden in kleinere Semaphore-Blöcke zerlegt – das erleichtert Wartung und verbessert die Skalierbarkeit.
• Caching mit Semaphore Artifacts: Build-Ergebnisse wurden über integriertes Artifact-Caching zwischen Stages weitergegeben, was Packaging und Dependency-Handling beschleunigt.
• Parallelisierung: Unabhängige Jobs liefen gleichzeitig über mehrere Agents, wodurch sich die gesamte Pipeline-Laufzeit stark verkürzte.
• Dynamische Workflows: Mithilfe von Templates wurden Workflows dynamisch erzeugt und bei Bedarf automatisch getriggert.
• Promotions: Statt einer großen Pipeline nutzte Confluent modulare Promotion-Workflows, die gezielt neu gestartet und parallel ausgeführt werden können – für schnellere Wiederherstellung und höhere Zuverlässigkeit.

Durch Modularisierung und Parallelisierung haben wir stundenlange Builds in schlanke, effiziente Workflows verwandelt.

Wie haben Automatisierung und Monitoring die Zuverlässigkeit verbessert?

Das Confluent-Team hat automatische Slack-Alerts, Jira-Ticket-Erstellung und QuickSight-Dashboards umgesetzt, um in Echtzeit mehr Transparenz zu bekommen und Probleme schneller zu lösen.

• Fehler lösen sofort Slack-Benachrichtigungen und Jira-Issues mit Build-Details aus.
• Metriken sowie Pass/Fail-Daten werden in Dashboards gepusht, um Trends zu verfolgen.

Die Zeit bis zur Erkennung von Fehlern ist von 30 Minuten auf null gesunken – manuelles Triage ist komplett weggefallen.

Was waren die Ergebnisse?

Der Effekt war deutlich:

• Packaging-Builds: von 7,5 Stunden → 2,5 Stunden (70 % schneller)
• Ressourcennutzung: um 50 % gesunken
• Release-Pipelines: von 30–35 Stunden → 8 Stunden (75 % schneller)

Der Bedarf nach Geschwindigkeit war unser Haupttreiber – und Semaphore hat geliefert.

Wie war der Support von Semaphore während der Migration?

Die Engineers von Confluent lobten die schnelle Reaktionszeit und die enge technische Zusammenarbeit mit Semaphore.

Ein virtuelles High-Five und ein großes Dankeschön an das Semaphore-Team für die großartige Unterstützung auf diesem Weg.

Confluent bietet eine Streaming-Plattform auf Basis von Apache Kafka, mit der Unternehmen Daten ganz einfach als Echtzeit-Streams nutzen können.  

Branche

Data Streaming / Software

Headquarters

Mountain View, California

Stack