De acordo com pt.wedoany.com-A equipe de Yang Shuo, da Universidade de Harbin (Shenzhen), lançou o TouchWorld, um modelo de mundo tátil projetado para permitir que robôs, ao executar manipulações hábeis, não apenas prevejam mudanças visuais, mas também prevejam e utilizem feedback tátil para corrigir ações. O lançamento do TouchWorld marca uma nova fase na trajetória técnica da equipe focada no tato. Anteriormente, a equipe já havia lançado o EgoTouch, que resolve o problema de coleta de dados táteis, e o TouchAnything, que recupera informações táteis a partir de vídeos em primeira pessoa. Esses três trabalhos formam juntos uma cadeia completa que vai desde a coleta de dados, passando pelo aumento de dados, até a aplicação do modelo.

Yang Shuo é atualmente professor titular e orientador de doutorado na Faculdade de Ciência e Tecnologia da Computação da Universidade de Harbin (Shenzhen), além de ser fundador e CEO da PHANES AI. O objetivo da PHANES AI é integrar dados de vídeo humano com a modalidade de percepção tátil para construir um modelo de mundo para manipulação hábil e mobilidade de corpo inteiro de robôs humanoides, estabelecendo uma cadeia de capacidades completa que vai desde dados, modelos até o controle. A empresa acredita que, antes de os robôs entrarem em cenários reais de operação, elos como dados táteis, modelos de mundo tátil e controle de feedback para mãos hábeis ainda estão em estágios tecnicamente imaturos, e espera conectar essas capacidades através da introdução de dados táteis.

Do ponto de vista da trajetória de pesquisa, uma das questões centrais da equipe de Yang Shuo é a fonte dos dados de aprendizado para robôs. No campo da inteligência incorporada, os dados de operação contínua de humanos no mundo real estão se tornando uma importante porta de entrada para o aprendizado de robôs. Trabalhos como NVIDIA EgoScale e Generalist/Gen-1 mostram que o pré-treinamento com dados humanos em larga escala, combinado com o pós-treinamento com uma pequena quantidade de dados de robôs reais, pode melhorar a taxa de sucesso dos robôs em tarefas complexas e de longo alcance. No entanto, a equipe aponta que essa abordagem carece de informações táteis. Vídeos em primeira pessoa permitem que robôs observem como os humanos operam, mas não fornecem informações cruciais como a pressão dos dedos, se um objeto está escorregando ou se o contato é estável. A PHANES AI acredita que os robôs precisam entender o que acontece quando a mão entra em contato com um objeto, e é por isso que desenvolveu a série de trabalhos EgoTouch, TouchAnything e TouchWorld.

As funcionalidades principais do TouchWorld são divididas em duas partes: preditiva e reativa. A parte preditiva significa que o robô não só deve prever o quadro futuro, mas também o estado de contato que deve ser formado no futuro. Por exemplo, na tarefa de pressionar o botão de um borrifador, é difícil julgar apenas pela imagem se o botão foi pressionado corretamente, enquanto a previsão do alvo tátil permite que o robô saiba claramente o contato e a pressão que os dedos devem ter ao completar a subtarefa. A parte reativa refere-se à correção de feedback tátil de alta frequência. Durante a operação real, o objeto pode escorregar ou os dedos podem não segurar firmemente, exigindo que o robô ajuste rapidamente suas ações com base no feedback tátil em tempo real, em vez de esperar que o modelo de nível superior replaneje. No design do TouchWorld, a frequência de inferência do módulo reativo é 4 vezes maior que a do modelo de mundo tátil, produzindo uma quantidade de correção a cada vez.

O TouchWorld foi testado em seis tarefas robóticas reais: regar plantas, limpar mesa, conectar plugue de tomada, inserir copo, limpar panela e puxar lenço de papel. Em um ambiente sem perturbações, a taxa média de sucesso atingiu 65,0%; em cenários com perturbações adicionadas artificialmente, a taxa média de sucesso foi de 57,2%. Em comparação com métodos como Pi-0.5, FTP-1 e GR00T N1.7, o TouchWorld superou o modelo de referência com melhor desempenho entre os métodos comparados em 15,7 e 16,0 pontos percentuais, respectivamente, nas duas configurações. Esse resultado valida que, quando as tarefas entram na fase de contato, a previsão do alvo tátil e a correção de feedback de alta frequência podem melhorar a estabilidade da operação do robô, demonstrando que o tato pode ser integrado ao modelo de mundo e à estratégia de operação do robô, e não se limitando apenas a leituras de sensores.

A PHANES AI aponta que a manipulação hábil tátil é um problema sistêmico que não pode ser resolvido por um modelo isolado. Durante o processo de pesquisa e desenvolvimento, a equipe, devido à falta de soluções táteis maduras para mãos hábeis de alta liberdade, adaptou manualmente luvas táteis cortadas para caber em uma mão hábil de cinco dedos, mas encontrou problemas como luvas facilmente danificáveis, desvio do sistema devido ao aquecimento da mão hábil, alto ruído nos dados e baixa eficiência de coleta. Portanto, a empresa está investindo em infraestrutura de dados, construindo uma plataforma de coleta de dados multimodais de baixo custo, sem fio e portátil, integrando informações como visão em primeira pessoa, visão do pulso, postura da mão, tato da palma e postura do corpo inteiro, com o objetivo de fornecer aos robôs dados mais próximos da sensação real da mão humana.

A PHANES AI espera, em torno da manipulação hábil e mobilidade de corpo inteiro de robôs humanoides, complementar capacidades sistêmicas que incluem coleta de dados táteis, estimativa tátil, modelo de mundo tátil, teleoperação e base de hardware, sistema de avaliação e modelo de manipulação hábil com mobilidade de corpo inteiro. Sua trajetória técnica vai desde o EgoTouch e TouchAnything, resolvendo a fonte de dados táteis, passando pelo TouchWorld, realizando a previsão e uso do tato, até o HumanWBC, que aponta para um ciclo fechado de percepção e compreensão, mobilidade autônoma, controle de corpo inteiro e manipulação hábil, permitindo que o robô evolua de ser capaz de entender visualmente para ser capaz de andar, pegar e completar tarefas.

O artigo do TouchWorld foi publicado no arXiv (arxiv.org/abs/2607.07287), e a página inicial do projeto é phanes-lab.github.io/TouchWorld-website/. O artigo do TouchAnything (arxiv.org/abs/2605.13083) e sua página inicial (jianyi2004.github.io/TouchAnything-Website/) também foram divulgados.