De acordo com pt.wedoany.com-Em 15 de julho, a Xiaomi lançou oficialmente o modelo mundial autorregressivo Xiaomi-Robotics-U0, com 38 bilhões de parâmetros. Este é o primeiro modelo generativo incorporado unificado que combina um modelo base de geração de imagens com modelagem mundial incorporada, ocupando o primeiro lugar na geração de vídeos incorporados do World Arena e, em avaliações reais de alta dificuldade, aumentando o progresso médio de conclusão de tarefas em mais de 26%.

Diferente dos modelos mundiais incorporados tradicionais, que treinam apenas em trajetórias de robôs, o Xiaomi-Robotics-U0 unifica, em um único quadro autorregressivo, a geração de cenas incorporadas multivisão, a transferência incorporada, a geração de vídeos de interação robótica, a geração geral de texto para imagem e a edição de imagens. O modelo trata a geração incorporada como uma extensão da geração básica de imagens e vídeos, podendo gerar diretamente dados de observação robótica multivisão que seguem as leis físicas com base em instruções de linguagem.

Na geração de cenas incorporadas, o modelo suporta geração de múltiplas perspectivas. Na transferência incorporada, o Xiaomi-Robotics-U0 pode transferir uma cena existente para uma nova cena, mantendo o comportamento de interação do robô inalterado, alcançando uma expansão exponencial de cenas por meio da desacoplagem de dimensões como espaço de trabalho, fundo e iluminação. Na geração de vídeos de interação robótica, o modelo pode prever o processo de interação futuro com base em observações iniciais e instruções de operação, suportando rolagem de cenas e previsão multivisão, com capacidade de generalização de zero amostras.

Na geração geral de texto para imagem e edição de imagens, o Xiaomi-Robotics-U0 mantém simultaneamente capacidades relevantes, permitindo síntese visual de alta fidelidade entre cenas, alvos e estilos, e suporta edição orientada por instruções que altera a intenção enquanto mantém a estrutura inalterada.

Em avaliações humanas, os efeitos de geração de cenas incorporadas e transferência incorporada do Xiaomi-Robotics-U0 superaram o GPT-Image-2.0. Em tarefas de operação fina, manipulação de objetos deformáveis e tarefas de longo alcance, a estratégia de treinamento com dados ampliados usando este modelo, sob interferência de iluminação desconhecida e fundos estranhos, aumentou o progresso médio de conclusão de tarefas em 26,3%. Em comparação com o GPT-Image-2, o Xiaomi-Robotics-U0 mostra vantagens significativas em consistência multivisão, controlabilidade de granularidade fina e robustez de transferência, evitando efetivamente problemas de desalinhamento de objetos entre vistas e distorção espacial.

No benchmark de avaliação World Arena, desenvolvido conjuntamente pela Universidade de Tsinghua e Universidade de Pequim, o Xiaomi-Robotics-U0 ficou em primeiro lugar entre mais de 100 modelos, obtendo as pontuações mais altas em controlabilidade, seguimento de instruções e qualidade de interação.

A Xiaomi também introduziu o esquema de aceleração de inferência FlashAR+, que, por meio de processamento pós-treinamento leve e tecnologia vLLM, combinados com decodificação paralela diagonal e agendamento de processamento em lote de cache de chave-valor paginado, reduz o tempo de geração de uma única amostra na resolução de 1024*1024 de 450,77 segundos para 5,44 segundos, aumentando a eficiência em 82,9 vezes.

Na implantação real na fábrica de automóveis da Xiaomi, os robôs da Xiaomi já executam tarefas na estação de trabalho de montagem de parafusos autoatarraxantes, com a taxa de sucesso de operação bilateral aumentando para 98%, e alcançando uma taxa de sucesso de 90% na classificação da tampa lateral do console central e no trabalho de recolhimento e reciclagem de caixas.

O avanço central do Xiaomi-Robotics-U0 reside na transferência de conhecimento visual em escala da internet para cenas incorporadas, alterando o caminho tradicional de apenas ajustar finamente com dados de trajetória de robôs, fornecendo uma nova direção técnica para a construção de um motor de dados escalável para sistemas inteligentes incorporados.