De acordo com pt.wedoany.com-A Upstage, da Coreia do Sul, divulgou no dia 23 seu modelo de linguagem grande (LLM) de pesos abertos desenvolvido internamente, 'Solar Open 2'. Como resultado do projeto governamental 'Modelo Base de IA Independente', o modelo foi lançado na plataforma global de código aberto Hugging Face, juntamente com um relatório técnico contendo a arquitetura e os métodos de aprendizado.
Ao contrário de seu antecessor, 'Solar Open 1', o Solar Open 2 é projetado especificamente para uso como agente, capaz não apenas de responder perguntas simples, mas também de processar tarefas repetidamente por meio de dezenas de inferências e chamadas de ferramentas até a conclusão. O modelo utiliza uma estrutura de Mistura de Especialistas (MoE), com um total de 250 bilhões de parâmetros, mas ativando apenas 15 bilhões durante a operação real. Ao selecionar apenas as partes necessárias para o cálculo, melhora a eficiência em tarefas de agente que consomem muitos Tokens. Em comparação com os 102 bilhões de parâmetros do antecessor, o tamanho aumentou 2,5 vezes, mantendo o número de camadas inalterado em 48.
O Solar Open 2 suporta capacidade de processamento de contexto longo de até 1 milhão de Tokens, crucial para tarefas de agente que exigem memória contínua do histórico de tarefas e processamento de grandes volumes de documentos. Para alcançar essa capacidade, a Upstage agrupou as 48 camadas em grupos de 4, implantando de forma mista 1 'Softmax Attention' de alta precisão, mas com alto custo computacional, e 3 'Linear Attention' de baixo custo computacional, mas que comprimem informações de memória. Ou seja, apenas um quarto de todas as camadas usa o método Softmax. Além disso, o modelo removeu completamente o dispositivo de codificação posicional independente, transmitindo informações de ordem de palavras apenas através da estrutura de memória da Linear Attention, e adicionou uma técnica de extensão que permite a autocorreção e correção de informações de memória armazenadas erroneamente.
A Upstage afirma que a quantidade de dados de treinamento necessária para atingir o mesmo desempenho pode ser reduzida em até 3 vezes em comparação com o método anterior; após a aplicação da quantização, o modelo pode ser executado com apenas 2 chips NVIDIA H200, reduzindo o custo de introdução para empresas em sua própria infraestrutura. A tecnologia introduzida desta vez não treina modelos de dezenas de bilhões de parâmetros do zero a cada vez, mas reutiliza apenas as partes dos pesos do antecessor 'Solar Open 1' que se sobrepõem à nova estrutura, herdando apenas as partes estruturalmente idênticas, como vocabulário, camada de saída e camada de normalização. As partes recém-geradas e o número de especialistas, que aumentou de 128 para 320, são retreinados. Os pesos reutilizados representam apenas 2,3% do total, mas experimentos mostram que esse método pode reduzir a quantidade de treinamento necessária para atingir o mesmo desempenho em cerca de 1,7 vezes. Os dados de treinamento foram reduzidos da escala original de 20 trilhões de Tokens para 10 trilhões de Tokens por meio de filtragem de qualidade, com uma proporção de dados reais para dados sintéticos de 4:6, e as proporções de matemática e código foram ajustadas para mais de 15% cada.
Em testes de desempenho, o Solar Open 2 superou os principais modelos de pesos abertos, como DeepSeek 'V4 Flash', Mistral 'Medium 3.5' e Cohere 'Command A+', em conhecimento geral (MMLU-Pro), programação (LiveCodeBench), seguimento de instruções e chamada de ferramentas, e avaliação abrangente de agente. Em comparação com seu antecessor, as pontuações aumentaram em mais de 20 pontos em benchmarks principais como raciocínio de conhecimento e científico, matemática e programação. Em termos de proficiência em coreano, obteve uma média geral mais alta em benchmarks coreanos do que APIs fechadas como OpenAI 'GPT-5.4 Mini' e Anthropic 'Claude Haiku 4.5', especialmente alcançando 86,8 pontos no benchmark 'Ko-GDPval', aproximando-se do desempenho do DeepSeek 'V4 Pro' (86,9 pontos), que é mais de 6 vezes maior que ele. A Upstage atribui isso ao seu tokenizador especializado em coreano, que pode representar a mesma frase em coreano com muito menos Tokens do que outros modelos globais, oferecendo vantagens de custo e velocidade em tarefas de agente onde o histórico de tarefas se acumula continuamente. Na avaliação de tarefas que modificam repositórios de software reais ou ambientes de terminal, como 'SWE-Bench' e 'TerminalBench', o modelo ficou atrás de concorrentes como DeepSeek 'V4 Flash' e Mimou 'V2.5'. A Upstage afirma que a capacidade de engenharia de software em nível de repositório/terminal e a precisão numérica detalhada de resultados de escritório são áreas de melhoria futura.
A Upstage divulga completamente os pesos do Solar Open 2 sob a 'Upstage Solar License (baseada na Apache 2.0)', permitindo uso comercial e liberdade de desenvolvimento de modelos derivados. No futuro, o modelo será aplicado ao portal Daum, adquirido em maio deste ano, expandindo de pesquisa/resumo para serviços de agente interativo; e, por meio da plataforma de agente de IA Timely, adquirida em junho deste ano, apoiará a introdução de agentes em governos locais e instituições de ensino público em todo o país. A Upstage planeja expandir os serviços baseados no Solar Open 2 para todos os setores da indústria, incluindo finanças, direito, saúde, público, defesa, manufatura, consumo, robótica e educação, e começará a construir uma 'IA Soberana Full-Stack' combinada com Unidades de Processamento Neural (NPU) nacionais. Além disso, registrará o modelo em plataformas globais como 'OpenRouter' e 'Hermes Agent' para expandir o ecossistema de desenvolvedores no exterior.
