China AReaL 2.0 é lançado como código aberto, infraestrutura de aprendizado por reforço impulsiona aprendizado contínuo de Agentes

De acordo com pt.wedoany.com-Em 2 de julho, o projeto de infraestrutura de aprendizado por reforço de código aberto AReaL lançou a versão 2.0, com o objetivo de conectar o treinamento de modelos básicos com aplicações de agentes modernos, fornecendo suporte eficiente de treinamento por reforço para cenários de uso de Agentes.

O AReaL 2.0 é voltado para Agentes que já operam em cenários reais de negócios, oferecendo uma infraestrutura de sistema que permite aprendizado contínuo durante o uso. Esta versão permite que os processos de interação gerados pelos Agentes ao realizar tarefas reais sejam registrados, organizados e integrados ao fluxo de treinamento subsequente, otimizando continuamente o modelo subjacente, tornando o Agente cada vez mais forte sob condições seguras e controláveis.

Atualmente, os Agentes estão entrando em ambientes de produção reais, realizando tarefas complexas como escrever código, pesquisar informações e chamar ferramentas. No entanto, embora os Agentes trabalhem diariamente, eles têm dificuldade em realmente crescer com o trabalho. Em operações reais, os Agentes geram uma grande quantidade de experiência valiosa, como status de conclusão de tarefas, motivos de falha na chamada de ferramentas, satisfação do usuário e direções de decisão. A maioria dessas informações é salva apenas na forma de logs, sendo difícil convertê-las de forma estável e segura em melhorias de capacidade futuras.

O AReaL 2.0 visa resolver o problema de como os Agentes continuam a evoluir após a implantação. Os desenvolvedores não precisam recriar o Agente; basta que as solicitações originalmente enviadas pelo Agente ao modelo grande passem pela entrada de inferência unificada do AReaL 2.0 para se conectar ao fluxo de aprendizado por reforço online.

Tomando o Hermes Agent como exemplo, o Hermes normalmente recebe tarefas, planeja etapas e chama modelos. O AReaL 2.0 registra em segundo plano os processos de interação chave durante a conclusão das tarefas e, combinando com feedback ou sinais de recompensa após a conclusão, utiliza essas trajetórias reais para treinamento subsequente. Os desenvolvedores podem substituir o Hermes por seu próprio Agente e ambiente de tarefas para construir um fluxo de aprendizado por reforço online para o Agente da mesma forma. Isso significa que a melhoria da capacidade do Agente não depende mais apenas de dados construídos artificialmente, treinamento offline e reimplantação; diálogos de múltiplas rodadas, chamadas de ferramentas, resultados de execução e sinais de feedback em tarefas reais podem se tornar materiais para o aprendizado contínuo do modelo.

Este ponto é particularmente importante em cenários empresariais. Os Agentes em fluxos de trabalho corporativos enfrentam tarefas reais, complexas e em constante mudança, incluindo atualizações de bases de código, ajustes de processos de negócios, mudanças nas necessidades dos usuários e alterações em ferramentas e sistemas. Se a capacidade do Agente permanecer basicamente fixa após a implantação, será difícil adaptar-se a longo prazo ao ambiente real. O AReaL 2.0 visa preencher a lacuna entre "saber usar ferramentas" e "aprender com o uso".

Ao mesmo tempo, o aprendizado contínuo em negócios reais não pode simplesmente "coletar dados e treinar novamente". Os Agentes podem ter acesso a código, informações de clientes, bases de conhecimento empresariais e sistemas internos; portanto, o fluxo de treinamento deve considerar requisitos como controle de permissões, anonimização de dados, isolamento e auditoria. O AReaL 2.0 introduz no design do sistema um mecanismo de agente de dados voltado para trajetórias de Agentes, permitindo que os dados de tarefas reais sejam gerenciados e usados de forma mais segura e controlável ao entrarem no fluxo de treinamento.

A equipe do AReaL apontou em seu relatório técnico que o gargalo chave para Agentes auto-evolutivos não está apenas no modelo em si ou no algoritmo de aprendizado por reforço, mas sim na falta de uma infraestrutura de aprendizado por reforço online que possa atender Agentes reais. O AReaL 2.0 passou por uma atualização arquitetural voltada para aplicações de agentes de próxima geração, conectando serviços de Agentes, trajetórias de tarefas reais, governança de dados e treinamento de aprendizado por reforço online, fornecendo uma base de engenharia viável para que os Agentes continuem aprendendo após a implantação.

O projeto AReaL foi iniciado em 2024 por equipes como Ant Group, Universidade Tsinghua e Universidade de Ciência e Tecnologia de Hong Kong. Em maio de 2026, o AReaL foi incubado a partir do InclusionAI da Ant e se tornou uma comunidade de código aberto independente, juntando-se ao ecossistema do PyTorch Foundation Ecosystem e integrando-se ao ecossistema mainstream de infraestrutura de aprendizado por reforço. Com o desenvolvimento independente da comunidade, o AReaL continua recebendo participação e apoio de parceiros da indústria e do ecossistema de código aberto, incluindo a equipe Huawei Cloud e o MindLab. No futuro, o AReaL irá iterar em direções como aprendizado por reforço online, avaliação automatizada e treinamento de agentes multimodais, promovendo em conjunto com a comunidade o desenvolvimento do ecossistema de agentes auto-evolutivos. Atualmente, o relatório técnico e o código do AReaL 2.0 foram lançados como código aberto.