De acordo com pt.wedoany.com-A pgEdge, fornecedora de PostgreSQL distribuído, lançou a versão beta do ColdFront, uma arquitetura de hierarquização de dados quentes e frios nativa do PostgreSQL, projetada para migrar automaticamente dados mais antigos para o armazenamento de objetos Apache Iceberg, ao mesmo tempo que torna o PostgreSQL o único banco de dados com o qual as aplicações precisam interagir.
Durante anos, as empresas geralmente mantinham sistemas separados para processamento de transações (OLTP) e análise (OLAP), mesmo que isso significasse mover dados entre eles. O surgimento de agentes autônomos e aplicações de IA, que exigem acesso instantâneo a dados e geram grandes volumes de dados operacionais, expôs os custos e a complexidade de manter sistemas independentes. O setor reagiu rapidamente, com fornecedores de data warehouses e bancos de dados propondo várias abordagens para quebrar os silos de dados: nas últimas semanas, a Databricks lançou o LTAP, a EDB lançou a análise convergente e, no final do ano passado, a Snowflake lançou o pg_lake, oferecendo diferentes caminhos para integrar cargas de trabalho transacionais, analíticas e de IA.
O ColdFront da pgEdge adota a hierarquização de dados quentes e frios, onde "quente" e "frio" se referem, respectivamente, a dados mais novos e mais antigos. De acordo com Phillip Merrick, cofundador da pgEdge, as consultas a dados recentes ainda são executadas no PostgreSQL, enquanto as solicitações a registros mais antigos são executadas de forma transparente por meio do mecanismo de análise incorporado do DuckDB, permitindo que as aplicações usem o mesmo SQL, sem a necessidade de introduzir pipelines ETL, caminhos de consulta separados ou alterações nas aplicações. Registros mais antigos armazenados no Iceberg também podem ser atualizados por meio do PostgreSQL, alcançando o que Merrick chama de "camada fria gravável".
Ashish Chaturvedi, chefe de pesquisa executiva da HFS Research, afirmou que o ColdFront trata o Iceberg apenas como uma camada de armazenamento transparente por trás do PostgreSQL, movendo automaticamente dados mais antigos para fora do banco de dados, enquanto permite que as aplicações usem as mesmas tabelas e SQL. Em contraste, o LTAP da Databricks conecta aplicações operacionais ao lakehouse, a EDB usa o PostgreSQL como fonte de dados operacionais e expõe dados por meio do Iceberg, e o pg_lake da Snowflake grava dados do PostgreSQL diretamente no Iceberg, permitindo que tanto o PostgreSQL quanto o Snowflake consultem os mesmos dados.
Amit Chandak, diretor de análise da consultoria de TI Kanerika, destacou que as empresas precisam reter dados operacionais históricos gerados por aplicações de IA para fins de auditoria e conformidade regulatória. Portanto, a capacidade de corrigir, excluir ou modificar registros após a movimentação dos dados para armazenamento mais barato é crucial para cumprir leis de proteção de dados e privacidade. Chaturvedi disse que o ColdFront pode simplificar esse processo: "Na maioria dos sistemas hierárquicos, os dados frios são somente leitura. As solicitações de exclusão do GDPR exigem restaurar-excluir-rearquivar, o que leva meio dia; o ColdFront permite UPDATE e DELETE de linhas de dados arquivadas com uma única instrução SQL." Igor Ikonnikov, pesquisador consultor da Info-Tech Research Group, afirmou que empresas nos setores financeiro, de saúde e governamental desejam manter dados operacionais confidenciais na infraestrutura controlada pelo cliente, preservando ao mesmo tempo a capacidade de modificar registros históricos. A arquitetura do ColdFront é particularmente importante nesse contexto.
Ikonnikov observou que todas as soluções dependem do DuckDB: "O ColdFront usa o DuckDB para executar consultas em dados do Iceberg, o pg_lake da Snowflake roteia consultas do Iceberg por meio do pgduck_server, e o Lakebase da Databricks também depende internamente do DuckDB. O DuckDB está se tornando o mecanismo de análise incorporado de fato para a nova geração de arquiteturas PostgreSQL-Iceberg." Essa dependência traz um risco concentrado: se o DuckDB enfrentar mudanças de licenciamento, vulnerabilidades de segurança ou gargalos de desempenho, o impacto se espalhará por vários produtos. Portanto, os CIOs devem entender a maturidade e o roteiro desses componentes compartilhados.
Michael Leone, analista principal da Moor Insights & Strategy, acredita que a maioria das empresas já possui arquiteturas de dados estabelecidas. Os CIOs devem avaliar essas plataformas com base em onde seus dados, desenvolvedores e fluxos de trabalho operacionais estão localizados. Ele recomenda que as empresas primeiro padronizem o Iceberg, pois todas as quatro arquiteturas suportam formatos de tabela abertos. As empresas podem manter a flexibilidade e, ao substituir o banco de dados front-end ou a plataforma de análise no futuro, não precisarão migrar os dados subjacentes. Ikonnikov alertou que existem problemas de governança de catálogo do Iceberg: os quatro métodos usam catálogos diferentes e a interoperabilidade entre fornecedores ainda não foi resolvida. Quando agentes de sistemas diferentes precisam consultar a mesma tabela do Iceberg, a federação de catálogos se torna um desafio prático.
Este texto foi elaborado por Wedoany. Qualquer citação por IA deve indicar a fonte “Wedoany”. Em caso de infração ou outros problemas, informe-nos prontamente, por favor. O conteúdo será corrigido ou removido. E-mail: news@wedoany.com
