De acordo com pt.wedoany.com-A Confluent lançou oficialmente uma atualização para o Apache Kafka, movendo o armazenamento do schema ID da carga útil da mensagem para o cabeçalho, a fim de simplificar os processos de governança de dados.
Em implantações tradicionais do Kafka, o schema ID é incorporado diretamente na carga útil da mensagem. Embora isso garanta que os consumidores desserializem corretamente os eventos, resulta em um forte acoplamento entre os metadados do schema e os dados em si. Esse design, em ambientes onde múltiplas equipes consomem o mesmo fluxo de eventos, aumenta a complexidade da evolução do schema e os custos de coordenação.
A nova solução coloca o identificador do schema no cabeçalho do registro Kafka, mantendo a carga útil inalterada. Em tempo de execução, os consumidores utilizam o ID no cabeçalho para obter o schema correspondente do Confluent Schema Registry. Esse método é compatível com vários formatos, como Avro, Protobuf e JSON Schema, ao mesmo tempo que reduz a dependência de formatos de linha fortemente acoplados, tornando os fluxos de eventos mais flexíveis e mais fáceis de integrar em sistemas downstream.
Patrick Neff, líder da equipe CSTA da Confluent (região CEMEA), afirmou em uma publicação no LinkedIn que a governança de schemas desempenha um papel fundamental na promoção da reutilização de dados entre sistemas de streaming e análise, sendo um importante impulsionador para liberar todo o valor dos dados.
A abordagem baseada em cabeçalho suporta adoção incremental. As equipes podem introduzir a governança de schemas sem a necessidade de reescritas em larga escala ou coordenação de todos os produtores e consumidores. O Schema ID pode ser anexado a fluxos de eventos existentes, permitindo que as equipes adotem gradualmente práticas mais rigorosas de gerenciamento de schemas, mantendo a compatibilidade retroativa.
Gunnar Morling, especialista técnico da Confluent, destacou que, ao colocar o schema ID no cabeçalho, a carga útil se torna independente e autocontida, o que melhora significativamente a interoperabilidade com sistemas de armazenamento e frameworks de processamento downstream, aprimorando a experiência de uso.
A separação dos metadados do schema da carga útil permite que produtores e consumidores evoluam de forma independente, com a validação centralizada no Schema Registry, reduzindo os custos de coordenação e simplificando a evolução do schema em ambientes de grande escala. Essa medida também contribui para a reutilização consistente de dados de eventos estruturados em diferentes pipelines, melhorando a interoperabilidade com ferramentas como Apache Flink e sistemas de análise ou aprendizado de máquina.
David Araujo, diretor de gerenciamento de produtos da Confluent, explicou que esse recurso permite anexar schemas a dados existentes no Kafka sem modificar o formato da carga útil, possibilitando um modelo de adoção com zero downtime e independente do cliente.
Alguns cenários de migração podem exigir a atualização de conectores Kafka e ferramentas downstream que assumem que os metadados do schema estão incorporados na carga útil, portanto, os dois métodos podem coexistir por um período. Atualmente, o recurso já está disponível no Confluent Cloud e está previsto para ser oferecido no Confluent Platform (com suporte ao Schema Registry sob o modelo de licenciamento existente).
Este texto foi elaborado por Wedoany. Qualquer citação por IA deve indicar a fonte “Wedoany”. Em caso de infração ou outros problemas, informe-nos prontamente, por favor. O conteúdo será corrigido ou removido. E-mail: news@wedoany.com
