De acordo com pt.wedoany.com-A Ant Group disponibilizou recentemente como código aberto dois frameworks de segurança de IA — o SingGuard-NSFA, voltado para a segurança de agentes inteligentes, e o SingGuard, direcionado a modelos multimodais de grande escala. O objetivo é migrar de "correção de vulnerabilidades" para a construção de "frameworks de segurança", lidando com os riscos comportamentais trazidos pelos grandes modelos.

A plataforma NVDB do Ministério da Indústria e Tecnologia da Informação emitiu anteriormente um alerta de risco, apontando que o Claude Code apresenta um risco de backdoor de segurança, podendo coletar informações confidenciais sem o conhecimento do usuário. O OpenClaw também foi repetidamente exposto por vulnerabilidades de alto risco. Isso reflete a trajetória comum dos produtos Agent atuais, que vai da rápida popularização à perda de confiança. Com o crescimento contínuo das capacidades de IA, os riscos comportamentais, como abuso de ferramentas, geração de código malicioso e injeção de prompts, estão se intensificando.

O perfil dos riscos de segurança está mudando, e a indústria começou a deslocar o foco da auditoria de conteúdo da saída do modelo para a segurança comportamental do modelo. Os frameworks SingGuard-NSFA e SingGuard, disponibilizados como código aberto pela Ant Group, foram lançados exatamente nesse contexto.

Este framework é da Ant Group, empresa que há muito tempo se aprofunda em sistemas de segurança de pagamentos e controle de riscos. A segurança de IA é uma direção de extensão da evolução contínua de suas capacidades de segurança.

A segurança de IA tradicional dependia principalmente da auditoria de conteúdo, mas os grandes modelos não estão mais limitados a chats; eles começam a chamar ferramentas e executar códigos. Os sistemas tradicionais de classificação de segurança de conteúdo não conseguem cobrir os riscos comportamentais dos modelos. Ao mesmo tempo, os riscos multimodais não existem apenas em texto, mas podem estar ocultos em detalhes de imagens, combinações de texto e imagem ou nas próprias respostas do modelo. As linhas vermelhas de segurança de diferentes negócios também mudam dinamicamente. O que a indústria precisa não é de remendos, mas de um framework subjacente que possa definir limites de segurança, lidar com riscos desconhecidos e mudanças nas regras.

O SingGuard-NSFA é um framework de barreira de raciocínio de modo duplo voltado para a segurança de agentes inteligentes, incluindo quatro tamanhos: 0,8B, 2B, 4B e 9B. Este framework antecipa a verificação de segurança para antes da execução do agente, estabelecendo barreiras tanto na interceptação de solicitações quanto na garantia de respostas, avançando a linha de defesa da conformidade de texto para a segurança comportamental. Essa avaliação é suportada por um sistema de classificação de riscos NSFA sistemático e um benchmark de avaliação multilíngue. A Ant Group usa a tríade CIA (Confidencialidade, Integridade, Disponibilidade) como base teórica, combinada com três guias de segurança OWASP para grandes modelos e agentes inteligentes, para decompor os riscos dos agentes. O framework adota um modo generativo que produz análise de raciocínio em cadeia com base na definição NSFA, usado para auditoria de conformidade offline; e um modo discriminativo que fornece diretamente a confiança para cada domínio de risco, com latência de 45 a 57 milissegundos, usado para interceptação online em tempo real de alto throughput. Como a rede principal está congelada, novos riscos exigem apenas o treinamento adicional de cabeças de classificação leves, permitindo extensibilidade nativa.

Esta arquitetura pode ser usada como um plugin. Por exemplo, ao adicionar uma cabeça de classificação ao Llama Guard 3, o valor F1 do benchmark de segurança de solicitações do usuário aumentou 17,6 pontos percentuais. O SingGuard-NSFA alcançou SOTA em três benchmarks de avaliação principais: segurança de solicitações do usuário, segurança de respostas do modelo e generalização entre conjuntos de dados. O modelo de 0,8B rivaliza com concorrentes de 8B, e o modelo de 9B atingiu 91,29% F1 em tarefas de generalização, com precisão e recall mais equilibrados.

Outro framework de código aberto, o SingGuard, é voltado para modelos multimodais de grande escala, incluindo quatro tamanhos: 0,8B, 2B, 4B e 8B. Este framework trata as regras de segurança como entrada em tempo de execução. Diferentes domínios de negócios podem definir suas próprias linhas vermelhas no local, e o modelo as julga uma a uma com base nisso. O lado da inferência adota uma divisão de trabalho entre pensamento rápido e lento. O pensamento rápido é responsável por julgamentos de baixa latência em segundos, enquanto o pensamento lento é responsável por raciocínio profundo regra por regra, com alternância automática entre eles via early exit. Para lidar com o gargalo de eficiência na auditoria paralela de múltiplas regras, a Ant Group propôs o RI-Mask, que compartilha o contexto de imagem e texto codificando-o apenas uma vez, permitindo julgamento paralelo de múltiplas regras, acelerando o raciocínio multimodal em até 5 vezes ou mais.

O SingGuard-NSFA e o SingGuard são direcionados, respectivamente, ao comportamento e à percepção da IA, mas ambos enfatizam a explicabilidade do processo e a extensibilidade para novos riscos. É possível rastrear qual regra específica foi violada e a base para isso, e novos riscos exigem apenas uma extensão leve.

No início deste ano, o Laboratório de Segurança de IA da Ant Group descobriu várias vulnerabilidades de alto risco e ajudou na correção oficial. Posteriormente, a Ant Group, em conjunto com a Universidade Tsinghua, disponibilizou como código aberto o ClawAegis, fornecendo soluções de segurança para agentes inteligentes que cobrem todo o ciclo de vida do produto. A disponibilização como código aberto dos frameworks de segurança desta vez é uma continuação dessa rota, desde a descoberta de vulnerabilidades até soluções contextualizadas e, em seguida, frameworks subjacentes reutilizáveis. O produto de segurança para agentes inteligentes da Ant Group já recebeu a classificação mais alta do Laboratório TEL da Academia Chinesa de Tecnologia da Informação e Comunicação (CAICT).

À medida que os Agent se aprofundam em cenários de trabalho, desenvolvimento e vida cotidiana, a segurança de IA entrará em uma nova fase. Estabelecer uma infraestrutura de segurança que possa se adaptar continuamente às mudanças de risco é a questão central que a indústria enfrentará no próximo passo.