De acordo com pt.wedoany.com-Um novo estudo propõe um fluxo generativo para treinar a capacidade de manipulação móvel de robôs humanoides, capaz de gerar grandes volumes de dados pareados sem necessidade de anotação manual.

Para que robôs humanoides realizem manipulação móvel orientada por percepção, é necessário conectar suas próprias observações e instruções de tarefas aos movimentos corporais completos. Aprender esse mapeamento exige imagens egocêntricas sincronizadas, comandos de linguagem e trajetórias cinemáticas compatíveis com o robô, mas as fontes de dados existentes não conseguem fornecer esses conjuntos completos em larga escala. A equipe de pesquisa resolve esse gargalo gerando sinteticamente supervisão visual-linguagem-cinemática (VLK) em cenas reconstruídas.

O fluxo utiliza 3D Gaussian Splatting para reconstruir ambientes internos com escala métrica, sintetiza trajetórias de navegação e interação com objetos com base em informações privilegiadas da cena, e renderiza observações egocêntricas pareadas posteriormente. Sem intervenção humana, os pesquisadores geraram 48.000 trajetórias pareadas e treinaram uma política VLK capaz de prever trajetórias cinemáticas corporais completas em curto horizonte temporal. Um rastreador corporal completo converte essas previsões em ações reais do robô humanoide físico.

Para validar a eficácia do método, a equipe executou tarefas de navegação e transporte de objetos únicos no robô humanoide físico Unitree G1. Os resultados mostram que interações sintéticas geradas a partir de cenas reconstruídas podem fornecer supervisão eficaz para a manipulação móvel de robôs humanoides baseada em sim-to-real. O site do projeto já foi disponibilizado publicamente.