De acordo com pt.wedoany.com-Em 13 de julho, a empresa chinesa SenseTime lançou oficialmente e disponibilizou o modelo de visão unificado SenseNova-Vision, que integra compreensão e geração, oferecendo capacidades unificadas para tarefas como detecção de objetos, reconhecimento óptico de caracteres, segmentação de imagens, previsão de profundidade, estimativa de normais de superfície, geometria multivisão e estimativa de pose de câmera. Diferente das abordagens anteriores que configuravam modelos, cabeças de previsão e decodificadores separados para cada tarefa visual, o SenseNova-Vision transforma múltiplas tarefas de visão computacional em problemas de geração de texto, geração de imagens ou geração mista de texto e imagem, permitindo que as capacidades de percepção visual entrem diretamente no sistema de entrada e saída de modelos multimodais gerais.
O conteúdo disponibilizado não se limita aos pesos do modelo. A SenseTime já publicou o modelo SenseNova-Vision-7B-MoT, o código de inferência, o relatório técnico e o corpus visual SenseNova-Vision-Corpus-50M, além de fornecer acesso a inferência de imagem única, inferência interativa, demonstração em página web e benchmarks. Registros oficiais do projeto mostram que o modelo, o conjunto de dados, o código de inferência e o relatório técnico foram disponibilizados em 8 de julho, com a divulgação completa das informações de lançamento em 13 de julho.
Os sistemas tradicionais de visão computacional geralmente estabelecem cadeias técnicas independentes para cada tarefa. A detecção de objetos requer a saída de categorias e caixas delimitadoras, a segmentação de imagens precisa gerar máscaras em nível de pixel, a previsão de profundidade calcula a distância espacial correspondente a cada pixel, e a reconstrução 3D ainda lida com imagens multivisão, mapas de pontos e parâmetros de câmera. Essas tarefas antes exigiam diferentes estruturas de modelo, objetivos de treinamento, módulos de previsão especializados e métodos de processamento de dados. O SenseNova-Vision busca eliminar essa fragmentação entre tarefas, não adicionando mais ramificações de arquitetura dedicadas para detecção, segmentação, estimativa de profundidade ou previsão geométrica, mas permitindo que um único modelo identifique o tipo de tarefa, a região alvo, a perspectiva de observação e as regras de saída com base em instruções em linguagem natural.
Após a unificação, diferentes resultados visuais ainda adotam formas de expressão adequadas às suas características. Informações estruturadas, como categorias de objetos, caixas delimitadoras, coordenadas de pontos, resultados de reconhecimento de texto, pontos-chave do corpo humano e parâmetros de câmera, podem ser geradas diretamente pelo modelo como registros de texto; resultados em nível de pixel, como máscaras de segmentação, mapas de profundidade, mapas de normais de superfície e mapas de pontos 3D multivisão, são gerados na forma de imagens. Para tarefas combinadas que exigem tanto a descrição da categoria do objeto quanto a saída da região de segmentação correspondente, o modelo pode gerar simultaneamente texto e imagem, permitindo que a mesma interface de interação cubra compreensão visual estruturada, previsão geométrica densa, segmentação de imagens e geometria visual multivisão.
As instruções em linguagem natural tornam-se uma porta de entrada importante para conectar várias tarefas visuais. Os desenvolvedores podem especificar a categoria alvo, cor, região, perspectiva e formato de saída por meio de descrições textuais, além de adicionar dicas visuais para designar o objeto de processamento. O modelo então gera resultados interpretáveis conforme a convenção. Essa abordagem libera as tarefas visuais das restrições de tabelas de categorias fixas e formatos de avaliação predefinidos. Por exemplo, os usuários podem combinar categorias, cores e condições de região local por meio da linguagem, criando requisitos de processamento visual mais flexíveis do que as tarefas fixas tradicionais.
Para apoiar esse método de treinamento unificado, a SenseTime construiu o corpus SenseNova-Vision-Corpus-50M. Esse corpus converte as anotações visuais originalmente dispersas em tarefas como detecção, reconhecimento de texto, localização de pontos-chave, segmentação de imagens, estimativa de profundidade e geometria multivisão em uma estrutura de amostra unificada de "entrada visual, instrução em linguagem natural, resposta decodificável", com respostas abrangendo texto, imagem e conteúdo misto de texto e imagem. O processo de treinamento utiliza principalmente esse corpus visual, complementado com dados multimodais auxiliares, para reduzir a perda de capacidades de compreensão geral e geração de imagens durante o fortalecimento das habilidades visuais do modelo.
Em termos de escopo de tarefas públicas, o SenseNova-Vision atualmente cobre quatro categorias principais de capacidades visuais. A compreensão visual estruturada inclui detecção de objetos, localização referencial, reconhecimento de texto, localização de elementos de interface e previsão de pontos-chave; a previsão geométrica densa inclui estimativa de profundidade monocular e previsão de normais de superfície; a parte de segmentação abrange segmentação geral, segmentação referencial, segmentação por raciocínio, segmentação interativa e segmentação com descrição semântica; a geometria visual multivisão inclui reconstrução de mapas de pontos 3D e estimativa de pose de câmera. Resultados oficiais de benchmarks mostram que um único modelo pode competir com alguns modelos especializados e modelos de visão geral em vários formatos de saída e tarefas visuais, mas o desempenho entre diferentes tarefas não é totalmente consistente.
Após a abertura do modelo, os desenvolvedores podem executar exemplos predefinidos por meio do código oficial, ou especificar o tipo de tarefa, dicas de texto e imagens de entrada para iniciar inferências únicas. O site oficial também oferece um esquema de demonstração local baseado em Gradio. Para a demonstração completa, recomenda-se o uso de uma GPU com 80 GB de memória; para executar todos os benchmarks, o site oficial sugere configurar pelo menos um servidor com 8 GPUs de 80 GB cada. Isso indica que, embora o SenseNova-Vision já forneça uma porta de inferência completa, ainda requer recursos computacionais elevados para implantação e avaliação em todas as tarefas.
A licença de uso também possui limites claros. Os pesos do modelo SenseNova-Vision são licenciados sob CC BY-NC 4.0, voltados principalmente para uso não comercial, e a página do conjunto de dados também indica a mesma licença; o código-fonte no GitHub oficial deve ser usado de acordo com a licença listada no repositório. Portanto, este "código aberto completo" significa principalmente que o modelo, o corpus de treinamento, o código de inferência, o relatório técnico e os métodos de avaliação foram disponibilizados para a comunidade de pesquisa, mas não implica que todo o conteúdo possa ser usado diretamente em produtos comerciais sem restrições.
A SenseTime também listou as limitações atuais na descrição do modelo. O modelo unificado não significa que supera sistemas especializados em todas as tarefas específicas; alguns modelos especializados ainda podem manter vantagens em determinados benchmarks; a saída de texto ainda requer programas de análise configurados por tarefa, e os resultados de imagem também precisam ser decodificados de acordo com o protocolo de treinamento. Resultados como profundidade, normais de superfície, mapas de pontos 3D e pose de câmera, antes de serem usados em cenários como robótica, direção autônoma, inspeção industrial ou outras aplicações de alta segurança, ainda precisam ser validados por sistemas independentes, não podendo ser usados diretamente como base de controle final.
A principal mudança técnica realizada pelo SenseNova-Vision desta vez é reorganizar as tarefas visuais clássicas anteriormente dispersas em tarefas de geração que modelos multimodais gerais podem processar. Detecção, segmentação, previsão de profundidade e geometria 3D não correspondem mais a sistemas isolados, mas compartilham instruções em linguagem natural, entrada visual e espaço de geração de texto e imagem, fornecendo um novo caminho de implementação para integrar ainda mais percepção visual, compreensão de linguagem, geração de imagens e raciocínio espacial em um mesmo modelo de base.
