De acordo com pt.wedoany.com-O chinês Danfei Xu lançou um ecossistema e padrão de dados de operação humana em primeira pessoa chamado EgoVerse, com o objetivo de catalisar a aprendizagem de robôs de forma semelhante ao papel do ImageNet para a visão artificial. Danfei Xu é atualmente professor assistente na Escola de Computação Interativa do Instituto de Tecnologia da Geórgia (Georgia Institute of Technology) e diretor do Laboratório de Aprendizagem e Raciocínio Robótico (RL2). Durante o doutorado na Universidade de Stanford (Stanford University), foi coorientado por Fei-Fei Li e Silvio Savarese. O EgoVerse é uma infraestrutura de dados sustentável e em crescimento, cujos parceiros da aliança incluem o Instituto de Tecnologia da Geórgia, a Universidade de Stanford, o Instituto Federal de Tecnologia de Zurique (ETH Zurich), a Universidade da Califórnia em San Diego (University of California San Diego), além de empresas como Meta, Scale AI, Guanglun Intelligence, Mecka AI, MicroAGI e Trace Labs. A Guanglun Intelligence é a única empresa chinesa a participar.

A aprendizagem de robôs enfrenta há muito tempo um gargalo na aquisição de dados. O treinamento atual ainda depende de operação remota em robôs reais, e cada nova demonstração requer hardware, pessoal e espaço, resultando em altos custos e cenários de tarefas limitados. O comportamento humano contém naturalmente informações visuais e de ação ricas, sendo uma fonte de treinamento mais ideal. No entanto, conjuntos de dados humanos anteriores eram, em sua maioria, projetos pontuais, com equipamentos de coleta, sistemas de coordenadas e definições de tarefas não unificados, dificultando o treinamento combinado. O EgoVerse foi projetado como uma estrutura colaborativa "viva" para superar essa limitação, permitindo que dados incorporados globais fluam sob um mesmo "sistema linguístico".

A versão pública atual do EgoVerse contém 1362 horas de dados de demonstração humana, aproximadamente 80 mil episódios, 1965 tarefas, 240 cenários e 2087 coletores. Os dados abrangem vídeos em primeira pessoa, poses de câmera, informações tridimensionais das mãos e descrições linguísticas detalhadas, e a eficácia da transferência foi validada em diferentes laboratórios, robôs e plataformas.

O EgoVerse reúne várias instituições líderes para avançar conjuntamente. O Instituto de Tecnologia da Geórgia atua como centro organizacional e estrutura de pesquisa, com a equipe de Danfei Xu responsável pela validação de tarefas representativas. A equipe da professora Shuran Song, da Universidade de Stanford, através da UMI (Universal Manipulation Interface) por ela criada, permite que dados de operação humana sejam transferidos para diferentes plataformas robóticas. A Meta fornece ao projeto óculos especializados de coleta de dados, o Project Aria. A Mecka AI promove o uso de iPhones e dispositivos leves de cabeça para coleta em primeira pessoa, reduzindo a barreira de hardware. A Scale AI é responsável pela limpeza, anotação e gestão da qualidade dos dados. A MicroAGI explora a coleta distribuída por crowdsourcing. A Trace Labs também participa. A contribuição da Guanglun Intelligence é o estabelecimento de um sistema de controle de qualidade que percorre a coleta no dispositivo, o processamento em nuvem e a validação por simulação.

A Guanglun Intelligence divide a qualidade dos dados humanos em três etapas. Primeiro, através de monitoramento em tempo real orientado por Agente durante o processo de coleta, controlando a integridade da tarefa, a eficácia das ações e a distribuição dos dados, além de realizar correções no local da coleta. Em segundo lugar, através de uma plataforma em nuvem compatível com vários hardwares de coleta, implementa-se um padrão de dados unificado, processando anotações como odometria visual-inercial (VIO), mãos e corpo tridimensionais, e anotações semânticas de ação de nível V7; a solução de dados humanos da Guanglun Intelligence, EgoSuite, é capaz de fornecer essas anotações em escala de produção. Por fim, utilizando a plataforma de simulação SimFoundry e a plataforma de avaliação RoboFinals, verifica-se se os dados são realmente valiosos para a aprendizagem de robôs, e os resultados da avaliação são realimentados para orientar a próxima rodada de coleta, formando um ciclo fechado de qualidade de dados.

A Guanglun Intelligence também participa de outro projeto global de infraestrutura de IA física, o Newton. Este projeto foi lançado conjuntamente pela NVIDIA, Google DeepMind e Disney Research, e seu comitê técnico de direção é composto pela NVIDIA, Google DeepMind, Disney Research, Guanglun Intelligence e Toyota Research Institute (TRI), com o objetivo de definir a rota técnica para simulação robótica e modelagem física. A Guanglun Intelligence é atualmente a única empresa chinesa a participar simultaneamente dos dois sistemas de padrões internacionais, EgoVerse e Newton, transitando seu papel de usuária de padrões para codefinidora.