Yuanli Lingji lança modelo de mundo incorporado DW0.5, reduzindo a demanda por dados reais em 60% e os custos em 40%

De acordo com pt.wedoany.com-A Yuanli Lingji lançou o modelo de mundo incorporado DW0.5, integrando-o ao framework de pós-treinamento de inteligência incorporada orientada por modelo de mundo, DFOL2.0. Este modelo base suporta entrada multimodal, incluindo instruções de tarefas, imagens e vídeos, podendo prever estados futuros de vídeo com base em ações históricas.

A inteligência incorporada, como IA física, tem como objetivo melhorar continuamente o desempenho dos robôs em diferentes ambientes e condições de falha, mas o ciclo de pós-treinamento tem dificuldade de funcionar a longo prazo. Um teste com robô real requer a ocupação do robô, do espaço e de mão de obra; falhas podem interromper a tarefa. O feedback humano é próximo do julgamento real, mas difícil de ser aplicado em alta frequência. A simulação tradicional tem baixo custo, mas não consegue replicar incertezas do mundo real, como contato, oclusão e deformação.

O DW0.5 utiliza dezenas de milhares de horas de dados multivisuais de robôs reais para pré-treinamento conjunto, possuindo forte capacidade de simulação. Ele pode gerar vídeos de operação normal de braços robóticos, bem como cenários de falha baseados em ações incorretas, para apoiar o treinamento de aprendizado por reforço online no framework DFOL2.0. Como um simulador de alta fidelidade, o DW0.5 transfere o aprendizado por reforço para o ambiente virtual: o VLA primeiro propõe ações candidatas, o DW0.5 simula o futuro e avalia riscos de sucesso, falha e desvio, e então retorna o feedback ao aprendizado por reforço. De acordo com os dados divulgados, esse processo pode reduzir a demanda por dados de robôs reais no pós-treinamento em 60% e o custo geral de treinamento em 40%.

O DW0.5 reconstrói a lógica de simulação através de três módulos especialistas. O Video Expert e o Action Expert trabalham juntos na simulação das consequências das ações, onde o Action Expert trata as ações como uma forte priori estrutural, forçando o vínculo entre ação e geração de vídeo por meio de alinhamento quadro a quadro, utilizando atenção MoT e máscara de atenção group-diagonal para garantir a correspondência entre a sequência de ações e a sequência de vídeo. O Value Expert é responsável pela avaliação de valor e construção de feedback, convertendo o futuro gerado em sinais de valor densos, incluindo a avaliação da probabilidade de sucesso para o estado atual, trajetórias candidatas ou todo o teste, alcançando uma correlação Valor-Ordem superior a 95%.

O DW0.5 é explicitamente solicitado a gerar trajetórias de falha, para evitar o viés causado pelo treinamento apenas com dados de sucesso. Sua estratégia de dados abrange quatro tipos de fontes: dados públicos de incorporação e dados de robôs coletados internamente, dados de vídeo da internet, dados de atividades humanas em primeira pessoa, e dados de testes com robôs reais e simulações, cobrindo estados intermediários como desvio, travamento e recuperação.

No nível de aplicação, o DW0.5 desempenha três papéis no treinamento e implantação do VLA: aumento de dados offline e construção de preferências, ambiente de pós-treinamento RL, e planejamento e avaliação de segurança durante a implantação. Com base nessa capacidade, o modelo se destaca no seguimento de instruções de alto nível e ações em múltiplas etapas, na generalização contínua multidimensional entre ambientes, tarefas e configurações, na consistência da geração de vídeos multivisuais, e na alta consistência entre geração de ações e vídeos.

De acordo com o fluxo geral, o modelo base DM0.5 gera um lote de ações iniciais, o DW0.5 gera em lote trajetórias de sucesso e falha no ambiente virtual, e então o instrutor de aprendizado por reforço CFG-RL pontua cada trajetória, retornando a recompensa para atualizar os pesos do modelo. A maior parte dos dados neste ciclo é gerada online pelo DW0.5, reduzindo a dependência de alto custo dos robôs reais.

Em tarefas de alta dificuldade, como encher balões, pendurar roupas e dobrar caixas de papel, o modelo integrado ao DFOL2.0 mostrou um aumento significativo na taxa de sucesso das etapas críticas em comparação com a linha de base SFT. Na tarefa de encher balões, a taxa de sucesso da etapa de encher o balão subiu de 10% para 90%, e a de inserir a bomba no balão, de 10% para 100%. Na tarefa de pendurar roupas, a taxa de sucesso de pendurar o cabide subiu de 50% para 100%, e a de inserir o cabide na roupa, de 60% para 90%. Na tarefa de dobrar caixas de papel, a taxa de sucesso de dobrar o lado direito e o lado esquerdo da caixa subiu de 35% para 55% e 50%, respectivamente.

Em benchmarks como EWMBench e WorldArena, o DW0.5 alcançou pontuações globais SOTA de 4,73 e 73,54, respectivamente (até 9 de julho).

A Yuanli Lingji afirmou que o DW0.5 já concluiu internamente o fluxo de pós-treinamento incorporado DFOL2.0, começando a assumir as funções de geração de dados, avaliação de valor e iteração de estratégia, e já foi integrado à plataforma DexDev MaaS. Para modelos com capacidade insuficiente de generalização zero-shot, as capacidades podem ser complementadas através de pós-treinamento e reintegradas ao serviço. Wang Tiancai, cofundador da Yuanli Lingji, enfatizou que o modelo de mundo ainda precisa de calibração com robôs reais, e que os dados reais têm valor insubstituível. Ele mencionou que, com o aumento da capacidade dos modelos visuais, os operadores em campo podem usar câmeras Ego para coletar dados de operação, reduzindo a barreira para o pós-treinamento em campo.