A Netflix dos EUA e a Universidade de Sófia da Bulgária colaboram para lançar o modelo VOID AI, permitindo remoção inteligente de objetos em vídeo e edição de cenas

De acordo com pt.wedoany.com-A Netflix e pesquisadores da Universidade de Sófia, na Bulgária, desenvolveram em conjunto um modelo de IA para remoção de objetos em vídeo chamado VOID. O modelo já está disponível publicamente na plataforma Hugging Face para uso geral, adequado para diversas necessidades de edição de conteúdo de vídeo. VOID significa Remoção de Objetos e Interações em Vídeo (Video Object and Interaction Deletion). Ele não apenas consegue eliminar objetos especificados e preencher o espaço com um fundo estático, mas também pode prever o comportamento físico dos objetos restantes na cena após a remoção, criando efeitos dinâmicos mais naturais.

Em uma demonstração, o modelo VOID AI processou um vídeo de dois carros colidindo. Após remover um dos carros, ele gerou uma sequência onde o veículo restante continua em movimento, substituindo simultaneamente os destroços, fumaça e fogo resultantes da colisão por uma superfície de estrada lisa. Outro exemplo mostrou a remoção de uma pessoa que pula em uma piscina, resultando em um vídeo que apresenta a superfície da água inalterada, sem respingos. O modelo opera com base em entradas de vídeo e descrições em linguagem natural, combinando sistemas visuais e linguísticos para uma operação precisa.

Pesquisadores da Netflix compararam o VOID com ferramentas como Runway e Generative Omnimatte. Em uma pesquisa com 25 participantes, o VOID foi a escolha preferida em 64,8% dos casos. Os autores observaram em um pré-print: "O VOID é proficiente em modelar a dinâmica complexa que pode ocorrer após a remoção de um objeto." O artigo ainda não passou por revisão por pares. O modelo VOID foi desenvolvido por Saman Motamed, William Harvey, Benjamin Klein, Zhuoning Yuan, Ta-Ying Cheng da Netflix, e Luc Van Gool da Universidade de Sófia. Atualmente, a Netflix não divulgou planos concretos para integrar o modelo em seus produtos ou processos.