Meta dos EUA lança modelo de agente Glimmer com 30 bilhões de parâmetros

De acordo com pt.wedoany.com-Em 10 de agosto, a empresa de tecnologia americana Meta lançou o modelo de inteligência artificial Muse Glimmer e disponibilizou os pesos do modelo sob a licença Apache 2.0. O modelo possui 30 bilhões de parâmetros, é voltado para fluxos de trabalho de agentes locais de execução contínua e pode ser implantado em Macs ou PCs equipados com uma única GPU de consumo, sem necessidade de conexão contínua a serviços em nuvem.

O Muse Glimmer suporta entrada de texto e imagem, com dados de treinamento que abrangem mais de 100 idiomas, e pode executar tarefas de múltiplas etapas, como chamadas de função, escrita e depuração de código, e processamento de arquivos e capturas de tela. O modelo é capaz de identificar problemas após falhas em chamadas de ferramentas e tentar novamente, além de ajustar a intensidade de raciocínio conforme os requisitos da tarefa, permitindo escolher entre velocidade de processamento e qualidade de saída.

Para se adaptar ao hardware de consumo, a Meta adotou tecnologia de quantização de aproximadamente 4 bits, comprimindo o modelo, que originalmente exigia mais de 55 GB de memória, para menos de 20 GB, permitindo que os pesos do modelo, a memória de trabalho, o codificador de percepção de imagem e o módulo de decodificação especulativa operem simultaneamente em ambientes com 24 GB ou 32 GB de memória. O módulo de decodificação especulativa DFlash acompanhante pode gerar tokens candidatos em lote; testes da Meta mostram que ele aumenta a velocidade de decodificação em cerca de 3,1 vezes na GPU RTX 5090, e em 1,8 vezes e 1,5 vezes em dispositivos M5 Max e M4 Max, respectivamente.

O treinamento do modelo utilizou o Muse Spark, anteriormente lançado pela Meta, como modelo professor, obtendo capacidades de agente por meio de destilação de saída, treinamento de contexto longo, ajuste fino supervisionado e aprendizado por reforço. Os pesos do modelo Muse Glimmer já estão disponíveis no Hugging Face, e a Meta fornecerá gradualmente versões adaptadas para frameworks como llama.cpp, MLX e ExecuTorch.

O Glimmer está atualmente disponível para desenvolvedores na forma de pesos de modelo e documentação de desenvolvimento, podendo ser usado para construir aplicações de agente pessoal, como gerenciamento de agenda, organização de arquivos, redação de informações e programação local. No mesmo dia, a Meta incluiu a execução local e o processamento privado de dados em sua direção de desenvolvimento de "superinteligência pessoal", enquanto seu modelo de maior desempenho, o Muse Spark, ainda não teve seus pesos liberados.