De acordo com pt.wedoany.com-A ATH da Alibaba lançou o HappyOyster 1.0, um produto de modelo de mundo aberto interativo em tempo real. O produto é capaz de construir e evoluir mundos digitais em tempo real, permitindo que os usuários explorem e interajam livremente em ambientes gerados, diferenciando-se dos produtos de vídeo de texto para vídeo descartáveis atualmente no mercado.
Os produtos atuais de geração de vídeo por IA têm limitações comuns: após o usuário inserir uma descrição, os clipes de vídeo renderizados pelo modelo não podem ser alterados, e não é possível interagir com o conteúdo da tela. À medida que a duração aumenta, a tela tende a apresentar problemas como inconsistência na aparência dos personagens e mudanças abruptas no estado dos objetos. O HappyOyster 1.0, por sua vez, dedica-se a criar um mundo digital que pode ser interpretado, explorado e interagido. Após a geração da tela, os usuários podem emitir comandos em tempo real, e o mundo responde e evolui continuamente com base nisso.
O produto oferece dois modos principais. O modo Aventura é um modo de exploração mundial, onde os usuários podem controlar personagens para se mover, pular, atacar, etc., no mundo gerado. O modelo pode automaticamente combinar métodos de interação jogáveis com base no conteúdo da cena. Por exemplo, se uma carruagem aparecer na cena, a função de andar a cavalo é desbloqueada; se um carro aparecer, operações como ligar/desligar faróis e buzinar são possíveis.
Durante a exploração, os usuários podem tirar screenshots a qualquer momento para salvar a tela, e após salvar o mundo, podem compartilhar o link com um clique, permitindo que outros entrem no mundo completo. O modo Direção é um modo de direção em tempo real, onde os usuários podem inserir comandos para guiar o desenvolvimento da história, com suporte para referência multimodal e capacidade de fixar a aparência dos personagens. Este modo também possui funções de retrocesso e ramificação de enredo, permitindo que os usuários voltem a nós anteriores e insiram comandos diferentes para levar a história por caminhos distintos. A empresa também forneceu um guia de experiência para o produto, ajudando os usuários a criar mundos melhores.
A arquitetura técnica do HappyOyster 1.0 é baseada em vários métodos principais. O produto utiliza tecnologia de modelagem de estado mundial em circuito fechado, comprimindo o estado atual do mundo em um resumo de estado latente e transmitindo-o recursivamente na cadeia de geração, para suportar a consistência da geração de longo prazo.
Para resolver o problema de deriva do sujeito, o produto utiliza representações de referência persistentes que participam do mecanismo de atenção em todo o processo, atribuindo identificadores a personagens e objetos para manter a estabilidade da identidade. Seu espaço de ação causal aberto coloca comandos de ação e linguagem natural na mesma interface semântica, permitindo que o modelo deduza automaticamente sequências de ações coerentes subsequentes com base nos comandos. Na coordenação audiovisual, o áudio e o vídeo são decodificados e gerados em conjunto sob o mesmo estado mundial, garantindo que as mudanças de som e imagem sejam sincronizadas e estejam em conformidade com as leis físicas.
Atualmente, diante da falta de benchmarks de avaliação sistemáticos no campo de modelos mundiais, a equipe do HappyOyster está liderando a construção de benchmarks de avaliação relevantes em colaboração com a Universidade de Nanquim. O produto já foi oficialmente lançado e pode ser usado com registro por número de telefone. A empresa também planeja abrir a interface API em breve, que poderá ser aplicada no futuro em cenários como criação de jogos, geração de curtas-metragens, experiências de entretenimento, transmissão ao vivo com avatares digitais e companhia virtual.
Este texto foi elaborado por Wedoany. Qualquer citação por IA deve indicar a fonte “Wedoany”. Em caso de infração ou outros problemas, informe-nos prontamente, por favor. O conteúdo será corrigido ou removido. E-mail: news@wedoany.com
