Nutanix, dos EUA, lança plano de controle do gateway de agentes para otimizar custos de tokens de IA

De acordo com pt.wedoany.com-A Nutanix lançou o Agent Gateway (Gateway de Agentes), um plano de controle de IA, com o objetivo de fornecer às empresas uma ferramenta centralizada para gerenciar o uso de modelos e otimizar os custos de tokens. A ferramenta visa lidar com o problema de custos de tokens "desordenados" causados por funcionários que podem usar modelos de ponta para tarefas simples, como resumir documentos, oferecendo às empresas uma visão unificada de quem está usando o quê e como controlar o uso de tokens.

O gateway é implantado entre usuários, aplicativos e o número crescente de modelos de peso aberto e modelos de ponta, permitindo que as empresas estabeleçam políticas sobre quem pode usar quais modelos para diferentes cargas de trabalho e custos. Rajiv Ramaswami, CEO da Nutanix, posiciona seu plano de controle como uma ferramenta para definir o ROI da implantação de IA, esclarecendo quais equipes podem usar quais ferramentas e modelos, para quais casos de uso e quantos tokens podem gastar.

Em uma coletiva de imprensa, Ramaswami afirmou que atualmente qualquer pessoa pode acessar qualquer conteúdo, mas com o Agent Gateway, as empresas podem criar regras para que as equipes de engenharia usem "modelos simples" para um conjunto de casos de uso, reservando os sistemas mais avançados para as aplicações multiagentes mais complexas. Ele destacou que o conceito do gateway de IA já ressoou entre os executivos antes do lançamento, recebendo ampla atenção em reuniões de CIOs e COOs durante uma viagem a Londres, e tornou-se uma preocupação entre executivos de alto escalão, como CIOs, COOs e até CFOs. A Nutanix está incentivando seus parceiros a se atualizarem para transmitir essa mensagem aos clientes.

O Agent Gateway faz parte da pilha de IA da Nutanix (Enterprise AI 2.7), que conecta usuários e agentes de IA a modelos, bem como a ferramentas e servidores compatíveis com o Protocolo de Contexto de Modelo (MCP), e aplica políticas e regras predefinidas pelos operadores de infraestrutura. Ramaswami prometeu que a plataforma evoluirá ao longo do tempo, imaginando-a como uma "IA dentro da IA", capaz de se tornar mais inteligente e entender os próprios aplicativos no futuro, selecionando modelos adequados e otimizando custos de forma autônoma.

Atualmente, o gateway é voltado para a pilha de inferência baseada em GPU da Nutanix, que é executada no Kubernetes e fornece endpoints de inferência compartilhados para modelos de peso aberto e modelos de ponta híbridos. A pilha atualmente é baseada na Nvidia, mas a Nutanix planeja oferecer suporte à AMD "até o final deste ano", seguindo o investimento de US$ 150 milhões da AMD na Nutanix em fevereiro. Ramaswami afirmou que a Nutanix deseja, em última análise, ser independente de hardware, expandindo o suporte para múltiplas plataformas de hardware, fornecendo a pilha de inferência e o gateway para ajudar as empresas a implantar e usar IA de forma econômica, possivelmente executando em Google TPU ou AMD GPU no futuro, oferecendo uma gama de opções de custo.