Um artigo co-escrito pelo professor Alex Lew foi selecionado como um dos quatro "Artigos Distintos" da Conferência de Modelagem de Linguagem (COLM 2025), realizada em Montreal em outubro deste ano. Intitulado "Geração de Controle Rápido para Modelos de Linguagem via Amostragem de Rejeição com Ponderação Adaptativa", o artigo propõe um algoritmo mais rápido e preciso para gerar texto estruturado a partir de modelos de linguagem. Os resultados da pesquisa já foram publicados no servidor de pré-impressão arXiv.
Os avaliadores destacaram que o artigo apresenta um amostrador de geração controlada que é rápido, fundamentado e adaptativo, abordando efetivamente o desafio de fazer com que grandes modelos de linguagem sigam restrições estritas de forma rápida. O método tradicional de "decodificação com restrições locais", embora garanta que o modelo siga as restrições 100% do tempo, é lento e pode ser excessivamente local, resultando em saídas tecnicamente válidas, mas distorcidas na prática. Por exemplo, ao gerar manchetes de notícias econômicas restritas a palavras com cinco letras ou menos, a decodificação com restrições locais pode não encontrar uma conclusão adequada.
O algoritmo proposto pelo professor Lew e seus colaboradores, no entanto, aplica restrições de forma eficiente e global. Em vez de verificar cada possível palavra seguinte, ele verifica apenas algumas, aumentando significativamente a eficiência. Além disso, o algoritmo utiliza métodos do campo da estatística computacional para aplicar restrições sem distorcer a distribuição de probabilidade das respostas do modelo de linguagem. O professor Lew afirmou: "Nossa abordagem pode reduzir drasticamente o número de avaliações de restrições necessárias; talvez apenas três palavras precisem ser avaliadas para executar este algoritmo." Este algoritmo demonstrou aceleração em diversas áreas, desde a geração de código Python válido até a síntese molecular. Atualmente, o algoritmo já foi implementado como parte do kit de ferramentas de código aberto GenLM, ampliando o potencial de aplicação dos modelos de linguagem.
