Baseten, dos EUA, arrecada US$ 1,5 bilhão em financiamento

De acordo com pt.wedoany.com-A Baseten Inc. está arrecadando US$ 1,5 bilhão em financiamento, rodada liderada conjuntamente pela Altimeter Capital, Conviction, Spark Capital, Sands Capital e Wellington Management. De acordo com o Wall Street Journal, alguns investidores adquiriram ações com uma avaliação de US$ 11 bilhões, enquanto os termos de investimento de outros apoiadores especificam uma avaliação de US$ 13 bilhões.

A Baseten oferece uma plataforma de serviços para automatizar a construção e o gerenciamento de clusters de inferência em nuvem. Através da plataforma, os desenvolvedores podem eliminar tarefas pesadas, como alocar placas gráficas, configurar redes e instalar ferramentas de software. O software da Baseten pode ser usado tanto como um serviço gerenciado quanto implantado como um aplicativo independente no ambiente de nuvem pública da empresa.

O núcleo da plataforma são três módulos chamados motores de inferência, responsáveis por otimizar o desempenho dos modelos de IA dos clientes e coletar dados sobre problemas técnicos. O motor BIS-LLM é projetado especificamente para grandes modelos de linguagem que utilizam uma arquitetura de especialistas mistos. Esses modelos contêm múltiplas redes neurais, cada uma voltada para tarefas diferentes. O BIS-LLM melhora a eficiência do modelo otimizando seu cache KV e configura automaticamente mais hardware à medida que o uso de tokens do modelo aumenta. O segundo motor, Engine-Builder-LLM, é otimizado para LLMs densos, que consistem em um único conjunto de neurônios artificiais, em vez de múltiplas redes neurais. O Engine-Builder-LLM utiliza tecnologia de decodificação prospectiva, capaz de gerar vários tokens de uma só vez, acelerando assim a inferência. O terceiro motor, BEI, é voltado para modelos de IA mais simples, podendo impulsionar modelos de incorporação, classificação de dados e modelos de busca, entre outros.

A Baseten utiliza um módulo de software chamado MCM para distribuir cargas de trabalho de inferência entre várias nuvens públicas. Se uma das nuvens falhar, o MCM redireciona as solicitações para plataformas ainda online. A empresa afirma que a capacidade de troca de provedores dessa tecnologia também é muito útil em momentos de escassez de placas gráficas nas principais nuvens públicas. A plataforma oferece suporte direto a dezenas de modelos de IA de código aberto, e os clientes também podem implantar algoritmos personalizados usando uma ferramenta chamada Truss, que empacota automaticamente LLMs em um formato compatível com a Baseten.

A plataforma Baseten não apenas suporta a inferência de LLMs personalizados, mas também permite seu treinamento. A plataforma inclui uma função de backup que salva periodicamente cópias da rede neural durante o treinamento. Caso ocorra um problema técnico, os desenvolvedores podem restaurar a cópia de backup mais recente, sem precisar reiniciar o treinamento do zero. Esta rodada de financiamento ocorre menos de seis meses após a anterior, de US$ 300 milhões, que contou com investimentos da Nvidia Corporation e da CapitalG.