A Confluent acelera seu CI/CD em 70% após migrar do Jenkins para o Semaphore.

Neste vídeo, você vai encontrar as respostas para estas perguntas:

Por que a Confluent migrou do Jenkins para o Semaphore?

A Confluent já usava o Semaphore em várias cargas de trabalho na nuvem e decidiu unificar todos os processos de CI/CD em uma única plataforma. O objetivo era reduzir manutenção, simplificar a experiência dos desenvolvedores e eliminar o custo de gerenciar múltiplos sistemas.

Queríamos um único sistema de CI/CD unificado para a empresa inteira — sem ficar alternando ferramentas entre times.

Quais workflows foram migrados?

Os pipelines de empacotamento e release da Confluent Platform (CP) foram os primeiros a migrar. Esses pipelines lidam com mais de 35–40 componentes, construindo e lançando combinações complexas como tarballs, RPMs, pacotes Debian, bibliotecas JAR e imagens Docker, tanto para deploys all-in-one quanto modulares.

Migrar workflows tão complexos não foi fácil, mas o esforço valeu a pena — nossos processos agora são mais eficientes e escaláveis.

Quais princípios de design guiaram a migração?

O time não fez apenas um lift-and-shift dos pipelines do Jenkins — eles os redesenharam seguindo alguns princípios-chave:

• Modularização: decomposição de estágios monolíticos do Jenkins em blocos menores no Semaphore, facilitando manutenção e escalabilidade.
• Cache com Semaphore Artifacts: uso do cache nativo de artefatos para mover saídas de build entre estágios, acelerando empacotamento e dependências.
• Paralelismo: execução simultânea de jobs independentes em múltiplos agentes, reduzindo drasticamente o tempo total do pipeline.
• Workflows dinâmicos: uso de templates para gerar e disparar workflows dinamicamente em tempo real.
• Promoções: substituição de um único pipeline enorme por workflows modulares de promoção, capazes de reexecutar apenas partes específicas e rodar em paralelo para recuperação mais rápida e maior confiabilidade.

Ao modularizar e paralelizar, transformamos builds que levavam horas em workflows leves e eficientes.

Como a automação e o monitoramento melhoraram a confiabilidade?

O time da Confluent implementou alertas automáticos no Slack, criação de tickets no Jira e dashboards no QuickSight para visibilidade em tempo real e resolução mais rápida.

• Falhas disparam imediatamente notificações no Slack e issues no Jira com detalhes do build.
• Métricas e dados de sucesso/falha são enviados a dashboards para acompanhamento de tendências.

O tempo médio para detectar falhas caiu de 30 minutos para zero — eliminando completamente a triagem manual.

Quais foram os resultados?

O impacto foi enorme:

• Builds de empacotamento: de 7,5 horas → 2,5 horas (70% mais rápido)
• Uso de recursos: 50% menor
• Pipelines de release: de 30–35 horas → 8 horas (75% mais rápido)

A necessidade de velocidade foi o nosso principal motor — e o Semaphore entregou.

Como foi o suporte do Semaphore durante a migração?

Os engenheiros da Confluent elogiaram a rapidez de resposta e a colaboração técnica do Semaphore.

Um hi-five virtual e um enorme obrigado ao time do Semaphore pelo suporte incrível ao longo dessa jornada.

A Confluent oferece uma plataforma de streaming baseada no Apache Kafka que permite às empresas acessar dados com facilidade na forma de fluxos em tempo real.

Indústria

Data Streaming / Software

Headquarters

Mountain View, California

Stack