Kit de Agentes da NVIDIA integra bibliotecas Omniverse para simulação de IA

De acordo com pt.wedoany.com-A NVIDIA anunciou que seu NVIDIA Agent Toolkit agora inclui as bibliotecas NVIDIA Omniverse, um conjunto de componentes de software que fornece ferramentas e habilidades para agentes de IA, permitindo-lhes adicionar capacidades de IA física a aplicações existentes e preparar conteúdo 3D para simulação.

Robôs, fábricas e sistemas autônomos precisam ser projetados, testados e treinados em ambientes simulados antes de serem implantados no mundo real. Preparar conteúdo 3D para simulação não requer apenas visuais realistas; os ativos também devem possuir estrutura, materiais, escala, rótulos, sensores e propriedades físicas corretos. Com as bibliotecas NVIDIA Omniverse no NVIDIA Agent Toolkit, os agentes de IA ganham ferramentas e habilidades para construir fluxos de trabalho, inspecionar cenas, sinalizar problemas e preparar ativos, ajudando os desenvolvedores a converter conteúdo 3D em ambientes prontos para simulação mais rapidamente.

Jensen Huang, fundador e CEO da NVIDIA, afirmou que a era da IA física será construída primeiro em simulação. O NVIDIA Agent Toolkit equipado com as bibliotecas Omniverse traz agentes de IA para as ferramentas 3D que os desenvolvedores já utilizam, ajudando-os a construir mundos prontos para simulação, permitindo que robôs, fábricas e sistemas autônomos sejam treinados e testados antes de entrar no mundo real.

Fabricantes de software, incluindo SideFX e PTC, estão integrando as bibliotecas Omniverse para simulação de sensores pronta para agentes, física e validação de ativos, trazendo IA de agente para aplicações e fluxos de trabalho de preparação de conteúdo 3D que desenvolvedores e artistas técnicos já utilizam.

As bibliotecas Omniverse trazem habilidades de IA física para o NVIDIA Agent Toolkit. O NVIDIA Agent Toolkit ajuda fabricantes de software a construir agentes de IA que conectam ferramentas, fontes de dados e habilidades, enquanto as bibliotecas Omniverse estendem esses agentes para fluxos de trabalho 3D e de IA física, fornecendo ferramentas que podem ser chamadas para simulação de sensores, física acelerada por GPU e validação de ativos prontos para simulação dentro de aplicações existentes. As novas bibliotecas Omniverse incluem as habilidades ovrtx, ovphysx e CAD-to-SimReady, já disponíveis no GitHub, dotando os agentes de IA de ferramentas para construir fluxos de trabalho para inspecionar cenas, testar variações e preparar ativos 3D para simulação. Um novo blueprint para integrar as bibliotecas Omniverse no Blender também está disponível no GitHub.

Na simulação de sensores NVIDIA RTX, a ovrtx ajuda aplicações a gerar saídas de câmeras, LiDAR, radar e outros sensores a partir de cenas 3D, permitindo que desenvolvedores e agentes de IA testem como os sistemas de IA física percebem ambientes virtuais. Em termos de comportamento físico, a ovphysx utiliza física acelerada por GPU para trazer comportamentos realistas a cenas 3D por meio de propriedades como colisão, massa, atrito e movimento, permitindo que as equipes testem primeiro como objetos e sistemas interagem em simulação. Para objetos 3D prontos para simulação, a habilidade CAD-to-SimReady ajuda a converter dados de design assistido por computador (CAD) em ativos SimReady baseados em OpenUSD, fornecendo ao conteúdo 3D as propriedades necessárias para simulação de IA física e testes virtuais.

Fabricantes de software, incluindo SideFX e PTC, bem como as startups ForgeCAD, Lightwheel, Moonlake AI e Palatial, estão entre os primeiros a adotar e construir utilizando as bibliotecas Omniverse como parte do NVIDIA Agent Toolkit. A SideFX está usando fluxos de trabalho OpenUSD e as bibliotecas ovrtx e ovphysx para explorar como agentes podem ajudar a integrar as bibliotecas Omniverse em seu fluxo de trabalho de criação de conteúdo 3D procedural Houdini, fornecendo um caminho para artistas técnicos gerarem, testarem física e prepararem conteúdo para simulação. Kim Davidson, presidente e CEO da SideFX, afirmou que a criação 3D procedural é essencial para construir os mundos complexos e controláveis necessários para simulação, robótica e IA industrial. Com as bibliotecas NVIDIA Omniverse e OpenUSD, a SideFX está explorando como ferramentas prontas para agentes podem suportar fluxos de trabalho Houdini, ajudando artistas técnicos a revisar, testar e preparar conteúdo procedural para simulação, mantendo o controle sobre o processo criativo. A plataforma PTC Onshape CAD e gerenciamento de dados de produto (PDM) está usando OpenUSD e ovrtx para conectar fluxos de trabalho de design nativos da nuvem com simulação física, ajudando a manter o conteúdo de design de produto conectado com fluxos de trabalho de CAD, PDM, colaboração e simulação. Neil Barua, presidente e CEO da PTC, afirmou que as equipes de engenharia estão buscando maneiras mais conectadas de projetar, colaborar e simular ao longo de todo o processo de desenvolvimento. A parceria da PTC com a NVIDIA apoia essa visão mais ampla, e as bibliotecas NVIDIA Omniverse ajudam a viabilizar fluxos de trabalho prontos para simulação, aproximando a validação e os testes do local onde o design do produto é feito.

O "SimReady" Blender, apresentado na SIGGRAPH, é um fluxo de trabalho de exemplo construído no Blender usando as bibliotecas NVIDIA Omniverse e NVIDIA NemoClaw, demonstrando como os fabricantes de software podem adicionar capacidades de simulação prontas para agentes a aplicações 3D existentes. Isso agora está disponível como um blueprint para integrar as bibliotecas Omniverse no Blender. A demonstração também mostrou como esses fluxos de trabalho podem ser executados localmente, desde sistemas RTX compactos equipados com NVIDIA RTX Spark até sistemas equipados com NVIDIA GB300 e NVIDIA DGX Station. Os sistemas RTX Spark serão lançados neste outono pela ASUS, Dell Technologies, HP, Lenovo, Microsoft Surface e MSI, com modelos da Acer e GIGABYTE sendo lançados posteriormente. Os sistemas DGX Station podem ser encomendados na ASUS, Dell, GIGABYTE, HP, MSI, Supermicro e Exxact.

Startups, incluindo aquelas que fazem parte do programa de aceleração NVIDIA Inception, também estão utilizando as bibliotecas e habilidades Omniverse para adicionar fluxos de trabalho de preparação de ativos e cenas assistidos por agentes. A Palatial está usando a habilidade CAD-to-SimReady da Omniverse para criar e validar automaticamente ativos SimReady em escala a partir de entradas CAD. A Lightwheel está usando agentes de conteúdo Omniverse impulsionados por OpenUSD em sua tecnologia SimReadyGen para gerar ativos SimReady fisicamente precisos a partir de prompts de texto. A ForgeCAD e a Moonlake AI estão explorando fluxos de trabalho de conteúdo 3D impulsionados por agentes, aproveitando as capacidades da Omniverse para ajudar a gerar, aprimorar e preparar ativos para simulação de IA física.