HPE dos EUA lança fábrica de IA com 256 GPUs pronta para uso

De acordo com pt.wedoany.com-A HPE expandiu significativamente sua plataforma de IA durante o evento HPE Discover, realizado em Las Vegas. Anteriormente, a plataforma suportava no máximo 64 GPUs, e agora o limite foi elevado para 256 GPUs. Os clientes podem começar com configurações menores e expandir o desempenho adicionando racks posteriormente. Além dos servidores ProLiant equipados com aceleradores Nvidia, o sistema integra armazenamento, Data Fabric e software para modelos, aplicações de IA e agentes, sendo o Morpheus responsável pelo controle e o OpsRamp pelo monitoramento.

Os serviços de instalação e integração já estão incluídos na oferta. A HPE fornece o ambiente completo por um preço fixo total, com o objetivo de que as empresas não precisem montar por conta própria uma fábrica de IA composta por hardware, software e outros componentes individuais. O Private Cloud AI da HPE integra o Nvidia AI Enterprise, modelos selecionados e ferramentas de desenvolvimento, bem como o Nvidia Agent Toolkit, modelos Nemotron, NemoClaw e OpenShell. Os agentes podem ser registrados, implantados e ter regras de acesso definidas por meio dessas ferramentas. Em termos de computação, o produto complementa sistemas equipados com o Nvidia RTX Pro 6000 Blackwell Server Edition.

Além disso, a HPE lançou o ProLiant DL394 Gen12, equipado com a CPU Nvidia Vera baseada na arquitetura Arm. Essa CPU é responsável pelas partes intensivas em memória e controladoras em aplicações de agentes, trabalhando em estreita colaboração com as GPUs Nvidia. Portanto, o Private Cloud AI da HPE é construído principalmente em torno do hardware e software da Nvidia, e essa estreita cooperação reduz o trabalho de integração, mas também significa menor flexibilidade na escolha de aceleradores e ambientes de execução.

O Alletra Storage MP X10000 desempenha um papel central na nova plataforma de IA. A plataforma oferece armazenamento de arquivos e objetos em uma arquitetura unificada, integrando-se diretamente ao Private Cloud AI. A HPE também o utiliza como armazenamento estendido para o cache KV relacionado ao desempenho. Os modelos de linguagem armazenam informações sobre texto processado, contexto e resultados intermediários no cache KV. Quando recebem novas solicitações, os modelos recorrem a esses contextos, em vez de recalcular tudo a cada vez.

Isso é particularmente importante para prompts longos, grandes volumes de documentos e múltiplos agentes paralelos. Quanto mais longo o contexto e maior o número de solicitações simultâneas, mais rápido cresce a necessidade de armazenamento. Se as informações de contexto antigas forem eliminadas, o modelo terá que recalculá-las em solicitações subsequentes, aumentando a latência, o consumo de energia e os custos. Em ambientes de agentes, o problema é ainda mais acentuado, pois os agentes não respondem apenas uma vez, mas realizam repetidamente verificações, planejamento, recuperação de dados e preparação de operações.

Portanto, a HPE descarrega parte do cache KV para o X10000 por meio de Acesso Remoto Direto à Memória (Remote Direct Memory Access). Nesse processo, os dados são transferidos diretamente entre o armazenamento e a memória, sem passar por várias camadas de processamento do sistema operacional. Dessa forma, a unidade de armazenamento assume parte da memória da GPU e se torna parte do processo de inferência. De acordo com a HPE, em sua configuração de teste usando GPUs Nvidia H200 e o modelo Nemotron 70B, o tempo para o primeiro token de saída foi reduzido para um vigésimo do original, enquanto a taxa de transferência foi aumentada em 17 vezes.

O novo Data Fabric 8.2 pode capturar e catalogar recursos de dados distribuídos. O catálogo global mostra quais informações existem e onde estão localizadas. Metadados, identidade e políticas de acesso determinam quais aplicações ou agentes podem acessar recursos específicos. O Data Fabric também é fornecido como um dispositivo pré-configurado em servidores ProLiant. Em toda a pilha de tecnologia, o X10000 é responsável pelo acesso rápido aos dados, enquanto o Data Fabric torna os recursos de dados detectáveis e controlavelmente disponíveis.

No entanto, apenas a organização técnica dos dados não torna os dados adequados para IA. Para treinamento e agentes, os dados devem primeiro ser classificados, limpos, descritos e ter permissões definidas. Embora existam ferramentas automatizadas, esse processo ainda requer trabalho manual em parte. Por exemplo, os departamentos de negócios devem explicar o significado, a atualidade e a finalidade de determinados dados.

Para operar o ambiente de IA integrado, a HPE depende do Morpheus, OpsRamp e GreenLake Intelligence. O Morpheus fornece recursos de computação, armazenamento e tempo de execução, e orquestra a infraestrutura de nuvem privada. O OpsRamp coleta dados de telemetria e monitora as dependências entre aplicações, modelos e a infraestrutura subjacente. Atualmente, a conexão entre essas funções operacionais e a automação orientada por IA está mais estreita. O Morpheus Central visa exibir várias instâncias de implantação em data centers, regiões e sites de borda.

Isso é importante para ambientes de IA, pois modelos, dados e serviços de inferência geralmente não são executados em um único local. O OpsRamp não apenas coleta falhas, mas também as correlaciona e identifica causas raiz na infraestrutura. A HPE expandiu essa camada com recursos de Copilot e interface MCP. O Morpheus Copilot pode criar blueprints e automações com base em instruções em linguagem natural. O OpsRamp Copilot deve analisar incidentes e apoiar medidas de remediação. Os servidores MCP fornecem interfaces padronizadas através das quais os agentes podem acessar funções de gerenciamento e automação. O GreenLake Intelligence integra essas funcionalidades em um plano de controle unificado.

A HPE complementou a pilha de tecnologia com funções de controle de agentes de IA. Esses agentes têm identidades próprias e operam em ambientes isolados. As políticas definem quais dados, interfaces e ferramentas eles podem usar. Para operações críticas, pode ser exigida aprovação humana. O Zerto fornece uma camada adicional de reversão, registrando alterações e, se necessário, restaurando os sistemas afetados ao estado anterior. No entanto, ele não consegue identificar se uma decisão é tecnicamente errada ou regulatoriamente não permitida.

Para a HPE, governança refere-se principalmente ao controle de acesso técnico e à execução de políticas. A validação de modelos de negócios, detecção de desvios, classificação regulatória e atribuição de responsabilidades continuam sendo tarefas fora da plataforma. Essa é exatamente a lacuna de muitas estratégias privadas de IA. Embora a infraestrutura própria aumente o controle sobre dados e operações, ela não substitui a governança. A IBM e a Red Hat apontaram recentemente que muitas empresas não conhecem completamente as dependências de fornecedores, modelos e infraestrutura de IA. A nuvem privada pode tornar essas dependências mais transparentes, mas não pode eliminá-las.

Os produtos de fábrica de IA no mercado diferem significativamente. Por exemplo, a Dell adota uma infraestrutura desagregada, onde computação e armazenamento podem ser expandidos independentemente. Em contraste, a HPE agrupa hardware, plataforma de dados e software operacional de forma mais estreita em um sistema geral definido. Isso transfere o trabalho de integração do cliente para o fabricante, mas reduz a liberdade, especialmente aumentando a dependência da Nvidia, pois a HPE integra não apenas GPUs, mas também CPUs, modelos, ambientes de execução e ferramentas de agentes do parceiro. A vantagem é que os componentes são bem coordenados; a desvantagem é que, se alguém quiser substituir um componente individual, encontrará mais rapidamente as limitações da arquitetura.

A oferta de produtos de IA como nuvem privada pela HPE está alinhada com as tendências atuais. À medida que a IA passa de projetos piloto para operações de produção, a forma de calcular a infraestrutura também muda: os serviços de nuvem pública ainda são atraentes para testes, cargas de trabalho flexíveis e acesso rápido a novos modelos; para inferência persistente, fluxos de trabalho de agentes e dados sensíveis, o controle de custos e o acesso aos dados tornam-se o foco. A Deloitte acredita que existe um ponto de inflexão econômico sob cargas de trabalho de IA contínuas e elevadas: quando os custos da nuvem atingem uma parcela significativa dos custos de um sistema próprio comparável, a solução de nuvem privada pode ser mais barata. A Forrester também prevê que, devido ao aumento dos custos de IA, ao bloqueio de dados e aos riscos operacionais, as empresas adotarão mais nuvens privadas de IA. O Private Cloud AI da HPE não se posiciona como uma oposição à nuvem pública, mas como uma plataforma operacional para cargas de trabalho de IA que precisam estar mais próximas dos dados e processos. Vale notar que a pilha de tecnologia completa ainda não está totalmente pronta; algumas funcionalidades e integrações anunciadas estarão disponíveis apenas nos próximos trimestres.