pgEdge, dos EUA, lança ColdFront: custo de armazenamento de dados frios reduzido em 90%

De acordo com pt.wedoany.com-A pgEdge anunciou o lançamento do pgEdge ColdFront, uma solução transparente de hierarquização de dados para PostgreSQL. A solução suporta operações UPDATE e DELETE diretamente em dados arquivados, permitindo que aplicações leiam e escrevam na camada fria usando o mesmo SQL já utilizado, sem necessidade de modificar código ou reativar dados. Os dados antigos são migrados automaticamente para o formato Parquet no Apache Iceberg, armazenados em qualquer armazenamento de objetos compatível com S3, reduzindo os custos de armazenamento em até 90%. O conjunto completo de dados ainda pode ser lido e escrito através de um único nome de tabela PostgreSQL, e a varredura da camada fria atinge velocidades analíticas graças ao mecanismo de colunas vetorizado DuckDB.

Bancos de dados PostgreSQL de nível de produção, com o tempo, enfrentam aumento nos custos de armazenamento e na complexidade operacional devido aos dados históricos, incluindo sobrecarga de backup, vácuo e atraso de réplica. As abordagens tradicionais incluem excluir dados antigos, arquivá-los em arquivos planos que quebram consultas, ou usar soluções proprietárias. O pgEdge ColdFront elimina essas compensações movendo automaticamente os dados frios para armazenamento de objetos de baixo custo, mantendo total capacidade de leitura e escrita através da interface PostgreSQL padrão, com cada camada armazenada em formato aberto.

Um exemplo de caso de uso é uma solicitação de exclusão GDPR para dados arquivados de cinco anos atrás. Com o ColdFront, isso pode ser executado com uma única instrução SQL, sem a necessidade do ciclo de restaurar dados para a camada quente, excluir, re-arquivar e re-validar.

Phillip Merrick, Chief Product Officer da pgEdge, afirmou que a solução elimina preocupações com dependência de fornecedores proprietários, as aplicações mantêm o mesmo SQL, o DuckDB fornece velocidade analítica para dados frios dentro do processo, a camada fria é gravável e pode ser executada em PostgreSQL padrão sem patches.

As principais características do ColdFront incluem: a única camada fria diretamente gravável, suportando UPDATE e DELETE através do mesmo nome de tabela PostgreSQL, sem necessidade de reativação ou caminhos especiais; execução do DuckDB dentro do processo PostgreSQL, com desempenho de varredura da camada fria baseada em dados Parquet 10 a 100 vezes mais rápido que armazenamento em linhas; sem necessidade de alterações de código ou arquitetura nas aplicações; todas as camadas usam formatos abertos, com dados frios em Apache Iceberg padrão (Parquet no S3), que podem ser lidos independentemente por ferramentas como Spark, Trino e DuckDB.

A solução também possui gerenciamento de ciclo de vida de partições integrado, controlando o conjunto de trabalho de dados quentes através de um único parâmetro de configuração hot_period, e pode definir o parâmetro opcional retention_period para excluir automaticamente dados frios após um período especificado. Em ambientes de cluster multi-mestre, os dados frios podem ser lidos e escritos simultaneamente a partir de cada nó. Através do cluster multi-mestre Spock, os dados quentes são replicados pelo Spock, enquanto os dados frios ficam no armazenamento de objetos compartilhado. O protocolo Bakery (formalmente verificado em TLA+) serializa commits do Iceberg entre nós, sem conflitos 409 e sem necessidade de repetições em nível de aplicação; em testes com três nós pequenos e 90 milhões de linhas, foi alcançado um desempenho de 756.000 linhas por segundo.

Dave Page, CTO da pgEdge, destacou que a solução gerencia automaticamente o ciclo de vida dos dados, reduzindo os custos de armazenamento em até 90%. Sua infraestrutura de dados suporta pipelines de IA e ML, transformando o PostgreSQL em um front-end de computação sem estado sobre o Iceberg através de um modelo desacoplado, permitindo que novos nós de computação sejam iniciados em segundos, sem necessidade de sincronização de dados.

O pgEdge ColdFront oferece três modos de operação: modo hierárquico (quente + frio), modo desacoplado (apenas Iceberg) e modo apenas partição (sem camada fria). O produto está agora disponível como versão beta de nível de produção, suportando topologias de instância única e multi-mestre Spock para PostgreSQL 16, 17 e 18. O ColdFront será agrupado com o pgEdge Enterprise Postgres e está planejado para ser integrado ao pgEdge Cloud no segundo semestre de 2026. É licenciado sob a licença PostgreSQL como código aberto, e a documentação e instruções de instalação estão disponíveis no site especificado.