A Universidade de Waterloo desenvolveu um novo método de treinamento chamado SubTrack++, com o objetivo de reduzir os custos e o impacto ambiental da construção de ferramentas de inteligência artificial (IA), promovendo assim a popularização dessas ferramentas. Os modelos de linguagem de grande escala (LLMs), como sistemas avançados de IA, têm seu processo de treinamento há muito tempo limitado por altos custos e enorme consumo de recursos, dificultando o acesso generalizado, exceto para grandes empresas e organizações.

A equipe de pesquisa da Universidade de Waterloo, após mais de um ano de esforços, integrou e desenvolveu trabalhos anteriores de aprimoramento de treinamento, conseguindo criar com sucesso a tecnologia SubTrack++. Essa tecnologia aumenta significativamente a velocidade de pré-treinamento dos modelos LLM em até 50%, mantendo uma precisão superior aos níveis avançados existentes. O Dr. Shirisha Rambhatla destacou: "Esses modelos são enormes e consomem uma quantidade impressionante de energia, portanto, mesmo melhorias modestas no desempenho podem trazer benefícios significativos."

O cerne da tecnologia SubTrack++ está em simplificar o processo de calibração, focando nos parâmetros-chave do modelo para acelerar a construção do modelo na fase de pré-treinamento, estabelecendo uma base sólida para o ajuste fino em tarefas específicas subsequentes. A Dra. Sahar Rajabi, que lidera a pesquisa, fez uma analogia vívida: "O processo de treinamento é como fazer o modelo ler uma biblioteca inteira, aprendendo o uso da linguagem ao identificar padrões nas palavras e ideias." O SubTrack++ otimiza esse processo, permitindo que o modelo compreenda as regras da linguagem mais rapidamente.

Os pesquisadores esperam que, com o aumento da velocidade e a redução dos custos do treinamento de LLMs, pessoas comuns possam ter condições de construir suas próprias ferramentas de IA poderosas. A Dra. Rajabi vislumbrou ainda: "No futuro, os modelos LLM têm o potencial de se tornarem assistentes digitais personalizados, adaptando-se ao estilo único, objetivos e necessidades de cada indivíduo, tornando-se parceiros inteligentes no trabalho e na criatividade humana."

A Universidade de Waterloo planeja apresentar um artigo sobre a tecnologia SubTrack++ na próxima Conferência sobre Sistemas de Processamento de Informação Neural (NeurIPS 2025), que será realizada na Cidade do México, para compartilhar ainda mais esse resultado de pesquisa.