De acordo com pt.wedoany.com-A NVIDIA lançou o NVIDIA Cosmos 3, um modelo fundamental de mundo aberto para IA física, construído sobre uma arquitetura híbrida Transformer que integra raciocínio visual, geração de mundo e previsão de ações em um único sistema.
O Cosmos 3 é o primeiro modelo totalmente aberto e versátil do mundo, capaz de compreender e gerar nativamente texto, imagens, vídeos, sons ambientais e ações, com precisão física líder, reduzindo o ciclo de treinamento e avaliação da IA física de meses para dias.
O modelo resolve um desafio fundamental da IA física: permitir que robôs, veículos autônomos ou agentes visuais generalizem em cenários do mundo real com dados de treinamento limitados e pilhas de simulação fragmentadas. Sua arquitetura híbrida Transformer combina um Transformer de raciocínio com um Transformer gerador especialista, permitindo que o Cosmos 3 compreenda interações entre objetos, movimento e relações espaço-temporais antes de gerar vídeos e trajetórias de ação. O modelo é treinado em um conjunto de dados multimodal de IA física contendo bilhões de amostras de texto, imagens, vídeos, sons e trajetórias de ação, fornecendo aos desenvolvedores uma base de pré-treinamento robusta para construir sistemas de IA física com menos dados e menor custo de treinamento.
Em benchmarks de IA física, o Cosmos 3 alcançou resultados líderes. Entre os modelos abertos, sua precisão de geração de mundo ficou em primeiro lugar nas avaliações Artificial Analysis, Physics-IQ, PAI-Bench e R-Bench; a estratégia de ação ficou em primeiro lugar no RoboLab e RoboArena; e a compreensão visual ficou em primeiro lugar nos rankings VANTAGE-Bench e TAR.
A série Cosmos 3 oferece várias versões: Cosmos 3 Super, para modelos de robôs e veículos autônomos pós-treinamento que exigem a mais alta precisão física e qualidade de geração; Cosmos 3 Nano, para raciocínio de vídeo e ação de alta qualidade em frações de segundo; e Cosmos 3 Edge, em breve, para inferência em tempo real na borda.
A NVIDIA também lançou o NVIDIA Cosmos Coalition, uma organização global de cooperação formada por construtores de modelos mundiais e desenvolvedores de IA, com membros fundadores incluindo Agile Robots, Black Forest Labs, Generalist, LTX, Runway e Skild AI. A coalizão visa promover modelos de mundo aberto entre setores, permitindo que os membros contribuam com modelos, pesquisas e técnicas de avaliação, enquanto utilizam a tecnologia Cosmos 3, ferramentas de treinamento e a infraestrutura NVIDIA DGX Cloud para treinamento em larga escala.
A plataforma Cosmos oferece suporte à pilha de IA física da NVIDIA, incluindo novos conjuntos de dados de robótica, física, movimento humano, direção autônoma, segurança de armazéns e raciocínio espacial, além de habilidades de agente de IA física para reconstrução de cena neural, geração de imagens com defeitos e aprimoramento de vídeo. Desenvolvedores de IA física estão construindo sobre esta plataforma, abrangendo empresas de robótica como Agile Robots, Doosan Robotics, LG Electronics, Samsung Electronics, Skild AI; veículos autônomos como Li Auto; e agentes visuais de IA como Centific, Fogsphere, Linker Vision, Milestone Systems e Yuan.
O Cosmos 3 Super e o Cosmos 3 Nano já estão disponíveis, e o Cosmos 3 Edge será lançado em breve. Desenvolvedores podem experimentar o Cosmos 3 em build.nvidia.com, baixar o modelo aberto do Hugging Face, personalizar o modelo e gerar dados sintéticos usando Hugging Face Diffusers e recursos do GitHub, além de implantar o modelo como um microsserviço NVIDIA NIM. Construtores de modelos e provedores de software podem acelerar o acesso, personalização e implantação do Cosmos para cargas de trabalho críticas de inferência e geração de dados sintéticos usando habilidades de agente de IA física no GitHub e parceiros de infraestrutura de serviços de inferência e nuvem, incluindo Baseten, CoreWeave, Microsoft Azure, Nebius, Deep Infra e Classmethod.
Este texto foi elaborado por Wedoany. Qualquer citação por IA deve indicar a fonte “Wedoany”. Em caso de infração ou outros problemas, informe-nos prontamente, por favor. O conteúdo será corrigido ou removido. E-mail: news@wedoany.com
