De acordo com pt.wedoany.com-A competição de desempenho de Grandes Modelos de Linguagem (LLM) está profundamente entrelaçada com a "estratégia de infraestrutura" das empresas de IA. A AMD, em seu blog, apontou que simplesmente aumentar a escala dos clusters de GPU enfrenta múltiplas restrições, como energia, custos e gargalos de rede. Portanto, o "design hardware-software" que considera as limitações de hardware desde o início do desenvolvimento de software tornou-se uma estratégia central para as empresas de IA.
O "Grok 4.0" da xAI e o "DeepSeek-V2" da DeepSeek demonstram dois caminhos de infraestrutura radicalmente diferentes. A xAI optou por uma estratégia de infraestrutura em larga escala ao implantar o cluster "Colossus" com 200 mil unidades H100. No entanto, nessa escala, o gargalo de rede na transmissão de dados entre GPUs reduz a eficiência computacional geral. Para enfrentar esse desafio, a xAI, ao desenvolver o Grok 4.0, vinculou 9 placas de interface de rede (NIC) de 400 Gb/s por servidor, alcançando uma largura de banda de 3,6 Tb/s. Simultaneamente, para reduzir custos, a xAI adotou o RoCE baseado em Ethernet comum, em vez do InfiniBand da Nvidia. Para lidar com o problema do "colapso de entropia" causado por grafos computacionais estáticos, a xAI introduziu a tecnologia de "Roteamento Adaptativo", que altera o caminho dos pacotes de dados em tempo real.
Em contraste, a DeepSeek optou por maximizar a eficiência do hardware em ambientes de cluster H800 relativamente menores, com escalas entre 2.000 e 50 mil unidades. Incapaz de aumentar cegamente o hardware, a DeepSeek abordou o problema a partir da arquitetura, reduzindo fundamentalmente o volume de comunicação de rede. O DeepSeek-V2, ao adotar a estrutura de Especialistas Mistos (MoE), projetou a tecnologia de "Roteamento de Especialistas com Limitação de Dispositivos", que sobrepõe o gargalo inerente dos modelos MoE — a comunicação de roteamento de especialistas — com o processamento computacional da GPU. Graças a essa otimização de software, o tempo ocioso da GPU devido a bloqueios de rede foi minimizado, e a DeepSeek alcançou um desempenho competitivo com um custo de infraestrutura de hardware equivalente a apenas um décimo do Grok 4.0.
As estratégias opostas adotadas pelos dois modelos mostram que a expansão cega da infraestrutura tem limitações claras em termos de custo e eficiência. A capacidade de "co-design", que envolve compreender com precisão as limitações da infraestrutura de hardware e ajustar o modelo de acordo, tornar-se-á um fator-chave na competição do mercado de IA no futuro.
