Rebellion da Coreia do Sul opera com sucesso modelo de IA de 500 bilhões de parâmetros da SK Telecom

De acordo com pt.wedoany.com-A Rebellion da Coreia do Sul conseguiu operar com sucesso o modelo de base de Inteligência Artificial (IA) independente 'A.X K1 (K1)' da SK Telecom em seu próprio servidor de IA 'RebelServer', e com base nisso, implementou um serviço de agente de IA que suporta acesso simultâneo de múltiplos usuários, validando a viabilidade operacional de serviços de IA em larga escala combinando grandes modelos de IA nacionais com Unidades de Processamento Neural (NPU).

A Rebellion anunciou no dia 23 que, nesta demonstração prática, o modelo K1, com mais de 500 bilhões (500B) de parâmetros, foi executado no RebelServer. A empresa afirmou que, apenas com a configuração de um único servidor, é possível atingir um desempenho de inferência de IA equivalente ao de servidores globais de alto desempenho com Unidades de Processamento Gráfico (GPU), aumentando assim a eficiência na construção e operação de data centers.

Ambas as partes alcançaram a melhoria de desempenho combinando a estrutura de Mistura de Especialistas (MoE) do K1 com as técnicas de otimização de software da Rebellion. A Rebellion aplicou tecnologias que distribuem eficientemente múltiplas operações para chips semicondutores, permitindo que um único servidor processe solicitações de vários usuários sem gargalos. Na demonstração prática, foi apresentada a funcionalidade de um 'Agente de IA do tipo Mapa': quando vários usuários acessam simultaneamente e inserem perguntas diferentes, como 'farmácias disponíveis no fim de semana', o K1 gera respostas em tempo real e exibe os resultados no mapa. A Rebellion considera que isso confirma a viabilidade de operar serviços de IA voltados para múltiplos usuários de forma estável apenas com modelos de IA nacionais e NPUs nacionais.

Park Sung-hyun, representante da Rebellion, afirmou que esta demonstração prática é um caso de IA soberana, onde apenas um modelo de grande escala nacional e uma NPU nacional são usados para operar serviços de IA em larga escala, provando ao mesmo tempo a eficiência e a disponibilidade prática da infraestrutura. Sabe-se que a Rebellion, como membro da aliança da SK Telecom no projeto de modelo de base de IA independente do Ministério da Ciência e TIC, está validando a infraestrutura de IA baseada em NPU nacional. A empresa também planeja promover a disseminação da infraestrutura de IA nacional com base na experiência de operação de serviços de IA em tempo real, como o 'Resumo de Chamadas Telefônicas A'.