De acordo com pt.wedoany.com-A desenvolvedora russa de software de infraestrutura Grupo Astra (Группа Астра) lançou a plataforma Bozeman AI (Боцман AI), que pode executar modelos de linguagem e outros modelos de inteligência artificial em redes internas de segurança empresarial, garantindo que os dados não vazem para serviços de nuvem externos.
O Bozeman AI é uma extensão lógica da plataforma Bozeman (Боцман), uma solução nacional de orquestração de contêineres baseada em Kubernetes, parte do Astra Dev Platform, focada na construção de plataformas de desenvolvimento internas e na execução de aplicações em infraestruturas isoladas ou regulamentadas.
As empresas têm uma forte demanda pelo uso de modelos de linguagem, mas os requisitos de segurança da informação, restrições regulatórias e políticas internas frequentemente proíbem a transferência de dados para serviços externos. A implantação de modelos por conta própria geralmente exige a criação de projetos de infraestrutura separados para cada tarefa, incluindo a seleção do ambiente de execução, configuração de GPUs, carregamento de pesos, configuração de endpoints e monitoramento. O Bozeman AI assume essas tarefas rotineiras.
A equipe da plataforma configura através do modelo de descrição de recursos padrão do Kubernetes, e o sistema prepara automaticamente o armazenamento de pesos e inicia o ambiente de execução do mecanismo necessário, incluindo vLLM, Ollama, SGLang ou FasterWhisper, publicando posteriormente o modelo através de um gateway unificado. O mecanismo de atualização não gera janelas de indisponibilidade durante as atualizações, o que é particularmente importante para lidar com infraestruturas caras de GPU.
Os desenvolvedores de aplicações obtêm uma API compatível com OpenAI, sem necessidade de reescrever o código existente; basta alterar o endereço do serviço para que a aplicação continue funcionando com modelos implantados na rede interna da empresa. A plataforma também oferece uma série de ferramentas de nível industrial, incluindo escalonamento automático de carga integrado, sistema de faturamento e gerenciamento de chaves de API com controle de orçamento, para alocar recursos de forma transparente entre equipes e projetos. O processo de instalação é realizado através do Bozeman Apps & Marketplace na forma de Helm charts.
Mikhail Kobik, diretor técnico da plataforma Bozeman (pertencente ao Grupo Astra), afirmou que a plataforma permite que empresas russas utilizem modelos de linguagem modernos com a mesma conveniência de serviços de nuvem pública, mas operando inteiramente em suas próprias redes internas, preservando assim a soberania dos dados, custos previsíveis e independência de fornecedores estrangeiros. Sua singularidade reside em transformar a implantação de modelos de IA de um projeto de infraestrutura complexo em uma operação padronizada do Kubernetes que qualquer equipe de plataforma pode executar.
