Universidade Tsinghua da China propõe framework POPO para reduzir desperdício computacional no treinamento RLVR de grandes modelos

De acordo com pt.wedoany.com-No treinamento pós-reforço de grandes modelos de linguagem, o processo de rollout que gera um grande número de respostas de raciocínio frequentemente acarreta custos computacionais elevados, mas muitas dessas amostras podem não fornecer sinais de treinamento eficazes. Para abordar esse problema, a equipe de pesquisa do Departamento de Automação da Universidade Tsinghua propôs um framework de otimização chamado POPO (Group Prioritized Off-Policy Optimization), que visa reduzir significativamente o consumo de amostras ineficazes no treinamento RLVR (Reinforcement Learning with Verifiable Rewards) por meio da otimização off-policy em nível de grupo.

A principal vantagem do RLVR é que seus sinais de recompensa podem ser verificados automaticamente por regras, mas durante o treinamento com métodos como GRPO (Group Relative Policy Optimization), o modelo gera um conjunto de respostas para o mesmo prompt. Se todas as respostas desse conjunto estiverem corretas ou todas incorretas, a variância da recompensa é zero, fazendo com que a vantagem relativa dentro do grupo desapareça e as amostras quase não contribuam para a atualização dos parâmetros. Essa situação, definida como "amostras ineficazes", é muito comum no RLVR, especialmente para problemas muito simples ou muito difíceis, onde o modelo consome muitos recursos computacionais sem obter gradientes eficazes.

As abordagens existentes para lidar com isso incluem principalmente: DAPO, que filtra grupos ineficazes expandindo o batch candidato e realizando rollouts adicionais, mas ao custo de aumentar os custos de geração; métodos de amostragem preditiva, que estimam a taxa de sucesso do prompt antes do rollout, mas têm estabilidade insuficiente em dados de grande escala ou treinamento com poucas épocas; e métodos de replay de trajetórias, que, embora armazenem respostas bem-sucedidas anteriores, não conseguem lidar com desafios como a avaliação de eficácia dentro do grupo e o viés off-policy.

A ideia central do POPO é manter um pequeno buffer de replay que armazena grupos de respostas eficazes encontrados durante o treinamento recente. Em cada etapa de treinamento, o modelo primeiro realiza um rollout no batch atual e, em seguida, divide os grupos de respostas em grupos eficazes (variância maior que zero) e grupos ineficazes (variância zero) com base na variância da recompensa. O POPO retém os grupos eficazes e, para as posições dos grupos ineficazes, não realiza um novo rollout, mas sim recupera grupos eficazes recentes do buffer para preenchê-los. Essa estratégia permite que o batch de treinamento seja composto principalmente por amostras eficazes, sem aumentar os custos de novos rollouts.

Ao contrário do replay em nível de trajetória comum, o POPO opta por realizar o replay em nível de grupo. Um grupo contém um prompt e seu conjunto correspondente de respostas, e todos os dados do grupo provêm da mesma política histórica, preservando a consistência interna do grupo e facilitando a correção off-policy subsequente. Para a seleção dos grupos de replay, o POPO baseia-se principalmente em dois critérios: "qualidade" (variância da recompensa diferente de zero) e "distância da política atual" (priorizando o replay de grupos eficazes armazenados mais recentemente).

Para lidar com o viés dos dados de replay, o POPO introduz uma otimização off-policy desacoplada, que separa os papéis da "política de comportamento" e da "política de restrição proximal". Para amostras de replay, o algoritmo usa amostragem por importância para corrigir o viés off-policy, mantendo ao mesmo tempo restrições de região de confiança consistentes com as amostras on-policy, equilibrando a correção do viés e a estabilidade do treinamento.

O artigo avaliou o desempenho do POPO em três tipos de tarefas: raciocínio matemático, planejamento numérico e geometria visual. Na tarefa de raciocínio matemático, os modelos DeepSeek-R1-Distill-Qwen-1.5B e 7B foram treinados no conjunto de dados DeepScaleR; na tarefa de planejamento numérico, o modelo Qwen2.5-3B foi treinado no subconjunto Countdown-34; na tarefa de geometria visual, o modelo Qwen2.5-VL-3B-Instruct foi treinado e testado no Geometry3k. Os métodos de comparação incluíram baselines como GRPO, DAPO, MoPPS e ARPO.

Pelos gráficos de treinamento, o POPO convergiu mais rapidamente que GRPO, ARPO e MoPPS em várias tarefas, com desempenho geral próximo ao do DAPO, mas com custos de rollout significativamente reduzidos. No DSR-1.5B, o POPO obteve uma pontuação média dentro da distribuição de 55,1, igual à do DAPO, e uma pontuação média fora da distribuição de 32,9, ligeiramente superior aos 32,7 do DAPO, com o tempo de treinamento reduzido de 30 horas (DAPO) para 16 horas. No DSR-7B, o POPO obteve uma pontuação média dentro da distribuição de 63,3, superior aos 63,2 do DAPO, e uma pontuação média fora da distribuição de 51,2, superior aos 50,8 do DAPO, com o tempo de treinamento reduzido de 55 horas para 34 horas. Na tarefa Countdown, o POPO alcançou uma precisão média de 60,4, próxima aos 61,5 do DAPO, mas com apenas 205k rollouts (contra 877k do DAPO), e o tempo de treinamento foi reduzido de 5,6 horas para 3,2 horas. Na tarefa Geometry, o POPO obteve 50,0, próximo aos 50,6 do DAPO, com 492k rollouts (contra 1438k do DAPO), e o tempo de treinamento foi reduzido de 11,2 horas para 6,8 horas.

Experimentos de ablação validaram a necessidade de cada componente do POPO. O método de encontrar grupos de replay usando divergência KL (POPO-KL) teve desempenho próximo, mas foi computacionalmente menos eficiente; o método de apenas filtrar grupos ineficazes sem preencher o batch (GRPO-filter) teve desempenho inferior ao POPO; o replay sem distinguir grupos eficazes (POPO-ineff) resultou em uma queda significativa de desempenho; e o replay de amostras de históricos antigos (POPO-stale) levou ao colapso do desempenho. Em relação ao objetivo de otimização, tratar simplesmente os dados de replay como dados on-policy atuais causou colapso de desempenho, enquanto o objetivo off-policy desacoplado apresentou o melhor desempenho.

Análises adicionais mostraram que o POPO superou consistentemente o GRPO e se aproximou do DAPO em diferentes tamanhos de grupo de respostas (k=4, 8, 16, 32), podendo ser aplicado a outros algoritmos RLVR básicos, como RLOO e PPO, e combinado com métodos de amostragem ativa como MoPPS.

O artigo destaca que o valor central do POPO é transformar o treinamento RLVR de "gerar muito e filtrar muito" para "desperdiçar menos", armazenando em cache e reutilizando amostras eficazes de alta qualidade já geradas, reduzindo o desperdício de rollouts ineficazes, mantendo ao mesmo tempo a estabilidade do treinamento. Usando os dados deste artigo como exemplo, na tarefa DeepScaleR-7B, o POPO atingiu desempenho próximo ao do DAPO usando apenas cerca de 30% do orçamento de rollout. No futuro, a equipe planeja explorar uma estratégia híbrida combinando um cache FIFO de curto prazo com um reservoir de longo prazo para reduzir ainda mais o número de rollouts online e aumentar o uso controlável de dados offline.

O artigo foi concluído pela equipe do Professor Ji Xiangyang do Departamento de Automação da Universidade Tsinghua, com autores incluindo Yixiu Mao, Yun Qu, Cheems Wang, Heming Zou e Xiangyang Ji. O primeiro autor, Yixiu Mao, é doutorando do Departamento de Automação da Universidade Tsinghua e atualmente estagia na equipe do modelo de grande porte Tongyi Qianwen da Alibaba. O artigo foi publicado no arXiv, sob o número 2606.01281v1.