A chinesa MoXin Technology lança MoWorld, com velocidade de inferência superior a 50 FPS

De acordo com pt.wedoany.com-A MoXin Technology, em colaboração com o acadêmico Pan Yunhe da Universidade de Zhejiang e a Huawei, lançou o MoWorld, um modelo de mundo interativo em tempo real baseado em NPU nacional, com velocidade de inferência superior a 50 FPS e custo de implantação de apenas 30% em comparação com soluções GPU de escala equivalente.

No último ano, os modelos de mundo tornaram-se um ponto focal no campo da IA. Um verdadeiro modelo de mundo precisa compreender o espaço e prever o próximo estado, sendo a capacidade de tempo real crucial — taxas de quadros acima de 30 FPS são consideradas fluidas, mas a maioria dos modelos existentes não atende a esse requisito.

Recentemente, a MoXin Technology, focada em pesquisa e industrialização de modelos de mundo 4D, em parceria com a Universidade de Zhejiang e a Huawei, lançou o MoWorld. Este é o primeiro modelo de mundo interativo em tempo real totalmente baseado em NPU nacional, com velocidade de inferência superior a 50 FPS e custo de implantação reduzido para 30% de soluções GPU de escala equivalente. O relatório técnico já foi divulgado, e a página do projeto é: https://moxin-tech.github.io/moworld/. Em breve, os pesos e o código serão open-source, e o serviço será fornecido com base em supernós de NPU nacional.

Em comparação com modelos de geração de vídeo, a principal diferença dos modelos de mundo reside na interação em tempo real. Anteriormente, os modelos de mundo estavam em grande parte na fase de experimentação acadêmica. As questões-chave para a transição da pesquisa para a indústria incluem se é possível interagir em tempo real, implantar de forma estável e controlar os custos. O MoWorld foi lançado neste contexto. A equipe da MoXin e a equipe do acionista estratégico Huawei, após quase um ano de pesquisa técnica, resolveram vários problemas-chave para a aplicação prática. O MoWorld recebe o primeiro quadro, texto e trajetória da câmera como condições, gera estados futuros do mundo que correspondem ao estado da cena e às entradas de controle, e suporta interação em tempo real do usuário no mundo gerado através de controle contínuo, alcançando inferência de até 50 FPS em NPU nacional, com um design de sistema que resulta em custos de inferência extremamente baixos.

Para modelos de mundo, a qualidade da geração é o primeiro passo, mas o custo de treinamento, a eficiência da inferência e a capacidade de interação em tempo real determinam a viabilidade da implantação. O MoWorld otimizou toda a cadeia, desde a construção de dados, treinamento do modelo até a implantação do sistema. Em termos de dados, o treinamento de modelos de mundo requer informações tridimensionais como vídeo, texto, trajetória da câmera e profundidade espacial, e os vídeos da internet não atendem a esses requisitos. Para isso, o MoWorld, baseado em anos de pesquisa em modelagem 3D e 4D, construiu um sistema escalável de produção e governança de dados, melhorando a qualidade do corpus através de triagem multidimensional.

Para alcançar a capacidade de implantação em tempo real, o MoWorld realizou otimizações sistêmicas nas três fases: treinamento, destilação e inferência. Na fase de treinamento, combinando as características do hardware NPU nacional, foram introduzidas estratégias de paralelismo de atenção superdensa e paralelismo de tokens de sequência longa, permitindo treinamento e inferência de até 2000 quadros. Na fase de inferência, através de execução pipeline, paralelismo hierárquico de sequências e quantização de precisão mista dinâmica, o modelo MoE de 14B parâmetros alcança inferência em tempo real de até 50 FPS na plataforma NPU nacional, com custo de inferência de apenas 30% em comparação com soluções GPU de escala equivalente.

Desde a construção do motor de dados até o treinamento de longa duração e a implantação em tempo real de baixo custo, o MoWorld avançou os modelos de mundo do estágio de "capaz de gerar" para o estágio de "capaz de interagir e implantar". Em breve, o MoWorld fornecerá serviços com base em supernós de NPU nacional.

Com base na capacidade de interação em tempo real, o MoWorld está passando da validação técnica para se tornar uma infraestrutura de inteligência espacial para múltiplas indústrias. Como um "motor de simulação espacial" controlável, ele fornece à indústria capacidades de geração de cenas que são interativas, dedutíveis e econômicas.

Em jogos e entretenimento interativo, o MoWorld suporta controle completo de câmera com 6 graus de liberdade. Os usuários podem realizar passeios imersivos usando W/A/S/D e o mouse, com cenas suportando resoluções de 1080P ou superiores, abrangendo paisagens naturais, anime e jogos.

Em inteligência incorporada e direção autônoma, o MoWorld fornece um campo de treinamento digital de baixo custo e alta fidelidade para robôs e sistemas de direção autônoma, especialmente oferecendo ambientes de alta precisão para equipes de direção inteligente, permitindo que a IA aprenda a interagir com o ambiente físico em um mundo virtual.

Na criação cinematográfica, o MoWorld permite que os criadores ajustem livremente os ângulos da câmera, visualizem os efeitos da cena em tempo real e editem os enquadramentos com precisão no mundo virtual gerado, alcançando movimentos de câmera de nível de diretor.

Em gêmeos digitais e reconstrução 3D, os vídeos gerados pelo MoWorld possuem consistência geométrica superior ao nível da indústria, podendo ser usados diretamente para reconstrução 3D de cenas internas, com alta precisão, estrutura estável e boa consistência espacial, fornecendo soluções de alta precisão e custo-benefício para cenários como gêmeos digitais, visualização arquitetônica, salas de exposição virtuais e jogos imersivos.

O cenário competitivo para grandes modelos de linguagem e modelos de geração de vídeo já está definido, mas no campo dos modelos de mundo, ainda não há um líder reconhecido ou padrões da indústria. Para as equipes nacionais, esta é uma janela de oportunidade importante. O MoWorld é o primeiro produto a usar NPU puramente nacional para completar todo o ciclo fechado de treinamento e inferência, com interação em tempo real superior a 50 FPS e custo de inferência de apenas 30% em comparação com soluções GPU de escala equivalente. O capital reagiu rapidamente; a MoXin Technology concluiu recentemente uma rodada de financiamento de centenas de milhões de dólares, com a participação de instituições de capital de risco líderes dos EUA, fundos de reserva estratégica nacional e mais de dez capitais industriais. Anteriormente, a MoXin recebeu investimentos da Hubble Investment, afiliada da Huawei, e do fundo Lianrong Zhidao, afiliado da Lenovo.