De acordo com pt.wedoany.com-A SoftBank do Japão, em conjunto com a Yaskawa Electric do Japão e a NVIDIA dos EUA, demonstrou um sistema de manipulação de objetos deformáveis baseado na "GPU Cloud para Data Center de IA" que está a desenvolver. A SoftBank também desenvolveu ferramentas de suporte ao desenvolvimento de IA física que operam nesta GPU Cloud, abrangendo a recolha de dados de movimento de robôs, geração de dados sintéticos, treino de modelos de IA, avaliação por simulação e implantação em robôs físicos, tentando integrar as etapas de desenvolvimento de robôs, anteriormente dispersas, numa plataforma unificada.
A plataforma está integrada com a biblioteca Omniverse da NVIDIA, o modelo de mundo aberto Cosmos e o blueprint de fábrica de IA física. Primeiro, o robô conecta-se à "GPU Cloud para Data Center de IA" da SoftBank para recolher dados de movimento e, em seguida, utiliza o Cosmos para gerar dados sintéticos que complementam o conjunto de treino; os engenheiros podem utilizar os recursos de computação em nuvem da GPU para treinar modelos e realizar avaliações de desempenho no ambiente de simulação integrado com a biblioteca Omniverse. O modelo validado é posteriormente implantado no robô físico. A SoftBank planeia utilizar esta plataforma para apoiar as empresas na melhoria contínua dos modelos com base em dados do local de trabalho e expandir os resultados do desenvolvimento para outras tarefas operacionais e dispositivos robóticos.
A Yaskawa Electric do Japão é responsável pelo desenvolvimento de um sistema de manipulação de objetos deformáveis baseado na tecnologia visão-linguagem-ação, permitindo que o robô gere planos de movimento com base em informações visuais e instruções de tarefas, completando a identificação, a preensão e a manipulação. Para esta demonstração, foram selecionados chicotes elétricos com formas e disposições em constante mudança como objeto de teste. O robô avalia o estado do chicote através do sistema de visão, e a IA gera comandos de movimento em tempo real para colocar o chicote de forma estável numa caixa. A validação relacionada também abrange objetos como cabos e tecidos, cuja forma muda conforme a tarefa, visando principalmente cenários operacionais que são difíceis de processar de forma estável com o controlo tradicional de robôs baseado em programação pré-definida.
