De acordo com pt.wedoany.com-A empresa chinesa de robótica UniX AI, em conjunto com a Universidade de Zhejiang, o Instituto de Tecnologia de Massachusetts, a Universidade de Oxford, a Universidade de Yale e a Universidade Jiao Tong de Xangai, divulgou um novo resultado de pesquisa científica, o UniTac, propondo uma arquitetura de compreensão e geração tátil entre sensores, integrando-a a um modelo visão-linguagem-ação, capacitando robôs a pré-avaliar estados táteis antes de tocar em objetos. O trabalho foi aceito pela ECCV 2026.
No último ano, os modelos fundamentais incorporados evoluíram rapidamente, permitindo que robôs realizem tarefas de manipulação de objetos com contornos definidos. No entanto, ao lidar com objetos flexíveis, frágeis ou em cenários de contato denso, os robôs que dependem apenas da visão têm dificuldades. Por exemplo, tarefas como pegar uma uva sem esmagá-la ou segurar um copo de papel sem deformá-lo exigem que o robô possua capacidade de percepção tátil semelhante à humana. Com o avanço das pesquisas, equipes como UniTouch e AnyTouch tentaram unificar as representações de diferentes sensores táteis; FuSe e Tactile-VLA integraram informações táteis a modelos de políticas gerais e VLA; TacImag explorou a capacidade de robôs "imaginarem" o tato apenas com visão e propriocepção. No entanto, esses métodos ainda enfrentam desafios como a heterogeneidade dos dados dos sensores e a dispersão da compreensão e geração tátil em diferentes modelos.
O UniTac aprende uma representação tátil unificada por meio de dados de múltiplos sensores em larga escala, permitindo que o robô preveja o estado tátil de um objeto após o contato com base em informações visuais, realizando assim uma "sensação antes do toque". Tomando como exemplo a pega de um copo de papel, o modelo VLA integrado ao UniTac pode prever a deformação do copo sob força, determinando assim a posição e a intensidade do contato; o VLA sem o UniTac amassa o copo de papel diretamente. A informação tátil, portanto, passa de um feedback pós-contato para um conhecimento prévio ao contato.
A interação de robôs com o mundo físico requer três níveis de ancoragem: o modelo visão-linguagem mapeia conceitos abstratos para objetos reais; o modelo visão-linguagem-ação associa semântica a trajetórias de movimento; e o terceiro nível exige que o robô compreenda e preveja as consequências físicas durante o contato. Modelos VLA que dependem exclusivamente da visão tendem a aplicar a mesma estratégia a objetos de aparência semelhante, e quando a correção ocorre após o contato, objetos frágeis já se deformaram. O UniTac antecipa a previsão do estado tátil para antes do primeiro contato, fornecendo ao VLA informações prévias sobre o processo de contato, tornando o primeiro toque mais seguro.
O principal desafio enfrentado pelo UniTac é a unificação de dados táteis entre diferentes sensores. Sensores táteis visuais (como GelSight, DIGIT, Duragel) registram a deformação do gel sob pressão por meio de câmeras, onde as imagens misturam atributos do objeto e configurações do sensor. O modelo precisa distinguir quais mudanças vêm do objeto (dureza, rugosidade, textura) e quais do sensor (iluminação, estado do gel, layout dos marcadores). Para resolver a heterogeneidade dos sensores, o UniTac divide o tato em duas partes: atributos físicos e configuração do sensor. No lado da compreensão, aprende simultaneamente a descrição dos atributos do objeto e a identificação do sensor, forçando o modelo a distinguir a origem do sinal; no lado da geração, incorpora tokens do sensor no processo de geração, evitando a geração tátil incondicional. Experimentos finais mostram que o UniTac alcança desempenho líder tanto na compreensão quanto na geração: no PHYSICLEAR-Test, o UniTac-7B obteve 66,51 pontos, superando modelos de compreensão tátil como Octopi e modelos unificados como BLIP3o; na tarefa de correspondência atributo-objeto, alcançou 64,61 pontos. Para os quatro tipos de sensores Digit, GelSight, GelSight Mini e Duragel, o SSIM médio do UniTac foi de 0,836 e o PSNR médio de 19,93.
O UniTac foi desenvolvido principalmente pela UniX AI. A empresa foi fundada em abril de 2024 em Suzhou pelo Dr. Yang Fengyu, formado pela Universidade de Yale, sendo uma empresa de inteligência incorporada full-stack. Yang Fengyu é o primeiro coautor do artigo do UniTac. O coautor Jiahang Tu, da Universidade de Zhejiang, pesquisa visão computacional e modelos generativos; o autor correspondente Hanbin Zhao é professor assistente na Universidade de Zhejiang, com longa experiência em aprendizado de máquina e modelos generativos; Zhi Tao, da UniX AI, é responsável pelos algoritmos reais e implementação do sistema. Os colaboradores do artigo incluem também Chenyang Ma, da Universidade de Oxford; Xihang Yu, do MIT; Ziyao Zeng e Alex Wong, da Universidade de Yale; e Shaokai Wu, da Universidade Jiao Tong de Xangai. Trabalhos anteriores, como a coleta de dados Touch and Go, a unificação de representação de múltiplos sensores UniTouch e o alinhamento tridimensional visão-tátil TaRF, todos seguiram a linha tátil. O UniTac integra compreensão, geração e transferência entre sensores táteis em uma arquitetura unificada, fornecendo conhecimento tátil prévio para modelos VLA, com potencial para melhorar a suavidade e segurança da operação robótica em cenários como cuidados domésticos, montagem de precisão e operações de serviço.
