Nvidia desenvolve Nemotron 4, maior modelo deve ter parâmetros na casa dos trilhões

De acordo com pt.wedoany.com-Em 11 de agosto, vários funcionários envolvidos no projeto Nemotron 4 da Nvidia revelaram que a empresa americana de chips está desenvolvendo uma nova geração de família de modelos de inteligência artificial de código aberto, sendo que o maior modelo deve ter pelo menos 1 trilhão de parâmetros. A Nvidia reafirmou no mesmo dia que está avançando com o desenvolvimento do Nemotron 4, mas não confirmou a escala de parâmetros mencionada nem a data de lançamento.

O Nemotron 4 ainda não concluiu o treinamento final, e a Nvidia também não definiu uma data oficial de lançamento. Os funcionários envolvidos no projeto estimam que a série de modelos possa estar pronta já no final do outono de 2026, com o objetivo de competir com os principais modelos abertos do mundo.

O maior modelo da série Nemotron 3 da Nvidia atualmente é o Nemotron 3 Ultra, que utiliza arquitetura de especialistas mistos e Mamba-Attention, com 550 bilhões de parâmetros totais, ativando 55 bilhões de parâmetros por token. O modelo foi pré-treinado com 20 trilhões de tokens de texto e suporta uma janela de contexto de até 1 milhão de tokens.

Em 11 de agosto, a Nvidia também lançou o Nemotron 3.5 Lightning. O modelo possui 30 bilhões de parâmetros totais e 3 bilhões de parâmetros ativados, podendo ser usado em tarefas de agente como revisão de código, chamada de ferramentas e monitoramento de alertas de segurança, já estando pronto para uso comercial.