De acordo com pt.wedoany.com-O banco digital britânico Monzo redesenhou seu data warehouse, adotando uma abordagem em "malha" para reduzir os custos do armazém em aproximadamente 40% e acelerar a entrega de dados em cerca de 25%. O banco enfrentava anteriormente uma complexa situação com mais de 100 equipes processando mais de 12.000 modelos dbt.
No último ano, o Monzo reconstruiu sua plataforma de dados em torno de camadas de modelagem definidas, declarando explicitamente modelos de interface para dependências de dados entre equipes e impondo validação de estrutura, nomenclatura e padrões de acesso por meio de integração contínua (CI). Esta migração abrangeu milhares de modelos dbt e introduziu centenas de interfaces gerenciadas, reduzindo consultas redundantes e cálculos duplicados, melhorando o tempo de disponibilidade dos dados e revertendo a tendência de crescimento dos custos do armazém. Cada equipe possui e mantém seus próprios modelos de dados, com o Monzo apoiando a propriedade distribuída por meio de barreiras de segurança automatizadas e ferramentas compartilhadas. Os engenheiros de análise do Monzo, Antonia Badarau, Irina Mugford e Massimo Frangiamore, destacam que, embora a propriedade distribuída seja poderosa, é difícil de implementar corretamente em escala, especialmente com a normalização da codificação assistida por IA, tornando um desafio garantir que a saída permaneça eficiente, consistente e de alta qualidade.
Os modelos dbt são consultas SQL que transformam dados brutos em conjuntos de dados estruturados, projetados como componentes modulares e reutilizáveis para construir e manter pipelines de dados. O Monzo definiu três princípios para sua arquitetura de dados: impor padrões claros, normalizar o compartilhamento de dados por meio de interfaces explícitas e depender de automação e verificações de CI para garantir qualidade, em vez de revisão manual. O banco divide os modelos de dados em quatro camadas: modelos de aterrissagem automatizada (achatam eventos brutos), modelos de normalização gerados (representam entidades com histórico completo), modelos lógicos (combinam entidades com lógica de negócios) e modelos de apresentação personalizados para usos downstream específicos.
As equipes garantem consistência por meio da ferramenta de linha de comando Modelgen (que gera modelos SQL e YAML a partir de definições de objetos) e de padrões de dados suportados por CI (que validam estrutura, convenções e melhores práticas). Luke Briscoe, diretor de engenharia do Monzo Bank, afirma que escalar dados em qualquer organização em rápido crescimento não é fácil, especialmente para um banco, e que ele conhece poucas empresas que executam ferramentas semelhantes. Mateusz Ulas, fundador da Expeditious Software, comenta que tratar interfaces de dados como código de primeira classe ainda é excepcionalmente raro, com a maioria dos lugares dependendo de documentação e esperando pelo melhor, e que incorporar padrões na CI é a única maneira de alcançar melhorias.
Camadas de dados claras, interfaces estáveis entre conjuntos de dados e verificações automatizadas na CI mantêm a consistência do sistema, permitindo que as equipes trabalhem de forma independente, ao mesmo tempo que reduzem os custos do armazém e o tempo de processamento. O Monzo impõe qualidade e consistência dos dados exigindo que cada modelo defina uma chave única, inclua testes de atualidade, seja executado incrementalmente por padrão, declare a equipe proprietária, forneça documentação e siga convenções rigorosas de nomenclatura e metadados validadas por CI.
Badarau, Mugford e Frangiamore acrescentam que a migração em toda a empresa está em andamento, com cerca de 30% concluída, e os resultados iniciais são encorajadores, com reduções de custo de aproximadamente 40% e tempos de disponibilidade de dados cerca de 25% mais rápidos em algumas áreas.
Em outro artigo, a equipe de engenharia do Monzo descreve como usou redes neurais multitarefa para aprender representações compartilhadas de padrões de fraude, melhorando a detecção de comportamentos raros e anteriormente não vistos, superando as capacidades dos modelos tradicionais. Na conferência QCon London deste ano, Suhail Patel mostrou como o Monzo construiu uma plataforma de desenvolvedores capaz de enviar centenas de alterações para o ambiente de produção diariamente.
Este texto foi elaborado por Wedoany. Qualquer citação por IA deve indicar a fonte “Wedoany”. Em caso de infração ou outros problemas, informe-nos prontamente, por favor. O conteúdo será corrigido ou removido. E-mail: news@wedoany.com
