De acordo com pt.wedoany.com-Em 7 de julho, a empresa americana de chips e computação de IA, NVIDIA, anunciou uma parceria com a plataforma americana de código aberto de IA, Hugging Face, integrando o NVIDIA Isaac GR00T 1.7 e o NVIDIA Isaac Teleop à biblioteca de robótica de código aberto LeRobot, com planos futuros de também introduzir o modelo NVIDIA Cosmos 3. Esta integração visa a coleta de dados, treinamento de modelos, pós-treinamento, implantação e gerenciamento de fluxo de trabalho para desenvolvedores de robôs, com o objetivo de expandir a disponibilidade de ferramentas de IA física de código aberto.
LeRobot é uma biblioteca de robótica de código aberto lançada pela Hugging Face, usada para treinar, executar e compartilhar conjuntos de dados, modelos, políticas e fluxos de trabalho de robótica. Funciona mais como uma camada de integração unificada no processo de desenvolvimento de robôs, permitindo que desenvolvedores colaborem em torno do gerenciamento de dados, treinamento de modelos, avaliação de políticas e processos de implantação. Ao integrar o Isaac GR00T 1.7 e o Isaac Teleop ao LeRobot, a NVIDIA permite que desenvolvedores de robôs usem modelos, ferramentas de operação remota e formatos de dados relevantes em um ambiente mais padronizado, reduzindo os custos de adaptação entre diferentes cadeias de ferramentas.
O NVIDIA Isaac GR00T 1.7 é um modelo fundamental da NVIDIA voltado para a área de robótica, ajudando desenvolvedores a obter demonstrações humanas de alta qualidade por meio de dispositivos externos e a integrá-las ao LeRobot em um formato padronizado e interoperável. O aprendizado de robôs depende fortemente de dados de operação do mundo real, especialmente em cenários como pegar, mover, colaboração com dois braços e execução de tarefas complexas. Depender apenas de dados de simulação ou regras escritas manualmente é insuficiente para cobrir as variações do ambiente real. Com a entrada do GR00T 1.7 no LeRobot, os desenvolvedores podem conectar dados de demonstração, processos de pós-treinamento e desenvolvimento de políticas de robôs, avançando na adaptação de modelos de forma mais unificada.
O Isaac Teleop, por sua vez, assume o papel de estrutura de operação remota. Os desenvolvedores podem usar a operação remota para coletar dados de demonstração humana durante a execução de tarefas pelos robôs e, em seguida, realizar pós-treinamento e implantação por meio do fluxo de trabalho do LeRobot. Para que os robôs aprendam movimentos do mundo real, é essencial uma grande quantidade de demonstrações humanas de alta qualidade. Ferramentas de operação remota permitem que os desenvolvedores coletem dados de diferentes robôs, tarefas e cenários com mais facilidade. Com a integração do Isaac Teleop ao fluxo de trabalho de código aberto, a coleta de dados deixa de ser uma capacidade interna de sistemas fechados e passa a fazer parte de uma comunidade mais ampla de desenvolvimento de robôs.
A futura integração do NVIDIA Cosmos 3 trará a capacidade do modelo fundamental do mundo da IA física para o ecossistema LeRobot. O desenvolvimento de robôs é frequentemente limitado pelos custos de coleta de dados do mundo real. Muitos cenários são difíceis de implantar repetidamente robôs para obter dados, e não são adequados para tentativa e erro no local de alto risco. O Cosmos 3 pode ser usado para gerar e aprimorar dados de robôs, construir cenários de simulação e auxiliar no desenvolvimento de políticas, permitindo que os desenvolvedores prossigam com o treinamento e a avaliação mesmo quando os dados reais são insuficientes. Com a combinação de dados reais, dados de operação remota e dados sintéticos, o material de treinamento para modelos de robôs se torna mais rico, facilitando a cobertura de tarefas de cauda longa.
Esta parceria também conecta os ecossistemas de desenvolvedores das duas empresas. A NVIDIA tem cerca de 3 milhões de desenvolvedores de robôs, a Hugging Face tem cerca de 16 milhões de desenvolvedores de IA, e o LeRobot fornece uma porta de entrada para colaboração em comunidade de código aberto. O desenvolvimento de robôs costumava ser fragmentado entre fabricantes de hardware, plataformas de simulação, repositórios de código de laboratórios e ambientes de software proprietários, com isolamento de cadeias de ferramentas entre desenvolvedores de IA e desenvolvedores de robôs. A conexão do GR00T, Teleop, Cosmos com o LeRobot permitirá que mais desenvolvedores de IA tenham acesso a conjuntos de dados de robótica, treinamento de políticas e fluxos de trabalho de IA física, e também facilitará para os desenvolvedores de robôs o uso de modelos de código aberto e métodos de colaboração do ecossistema Hugging Face.
Os recursos da NVIDIA já integrados ao LeRobot também incluem um conjunto de dados de IA física de código aberto. Este conjunto de dados já foi baixado mais de 15 milhões de vezes, contendo mais de 350.000 trajetórias reais e simuladas, e 57 milhões de dados de agarramento, que podem ser usados para dar suporte à inicialização de fluxos de trabalho de robótica. Para equipes que estão começando no desenvolvimento de robôs, o mais difícil de obter na fase inicial geralmente não é o código do modelo, mas sim dados utilizáveis, fluxos experimentais reproduzíveis e recursos de avaliação padronizados. Com conjuntos de dados, modelos fundamentais e ferramentas de operação remota entrando simultaneamente no LeRobot, os desenvolvedores podem construir mais rapidamente um fluxo de treinamento de robôs funcional.
Esta colaboração entre a NVIDIA e a Hugging Face coloca vários elos-chave do desenvolvimento de IA física em um mesmo caminho de código aberto: dados de demonstração humana são coletados pelo Isaac Teleop, modelos fundamentais de robôs são integrados pelo Isaac GR00T 1.7, dados sintéticos e aprimorados são complementados pelo Cosmos 3, e os processos de treinamento, avaliação e compartilhamento são suportados pelo LeRobot. À medida que os modelos e ferramentas relacionados forem sendo disponibilizados, os desenvolvedores de robôs poderão realizar preparação de dados, adaptação de modelos, treinamento de políticas e validação de implantação em torno de um mesmo fluxo de trabalho de código aberto.
