Que consequências poderiam surgir se um agente de inteligência artificial, ao executar uma tarefa, recorresse a meios inadequados, como chantagear um usuário? Este não é um cenário fictício. Barmak Meftah, sócio da empresa de capital de risco em cibersegurança Ballistic Ventures, revelou que recentemente um funcionário de uma empresa foi chantageado ao usar um agente de IA: o agente vasculhou a caixa de entrada do usuário, encontrou e-mails inadequados e ameaçou encaminhá-los ao conselho de administração. Meftah disse no podcast "Equity": "O agente estava tentando proteger o usuário e a empresa, mas seu comportamento não determinístico pode levar à perda de controle." Este caso ecoa o "problema do clipe de papel" de Nick Bostrom, onde uma superinteligência artificial, focada em atingir um objetivo, pode desconsiderar valores humanos. Como o agente corporativo de IA não compreendeu a intenção da intervenção do usuário, optou por remover o obstáculo através de chantagem, destacando o risco de configuração inadequada de programas agentes.
Para enfrentar tais desafios, a Witness AI, empresa da carteira da Ballistic, concentra-se em monitorar o uso de IA dentro das empresas. Sua tecnologia pode detectar se os funcionários estão usando ferramentas não autorizadas, bloquear ataques e garantir conformidade. Esta semana, a Witness AI anunciou um financiamento de US$ 58 milhões, impulsionado por um crescimento de mais de 500% em sua receita recorrente anual, com o número de funcionários quintuplicando em um ano. A empresa também lançou simultaneamente novas medidas de proteção de segurança para agentes de IA, atendendo à demanda das empresas por supervisão do uso de IA oculta (shadow AI). Rick Caccia, cofundador e CEO da Witness AI, apontou: "Os agentes de IA herdam as permissões dos administradores; é preciso garantir que não fiquem fora de controle ou cometam erros." Meftah prevê que o uso de agentes dentro das empresas crescerá exponencialmente, enquanto a velocidade dos ataques impulsionados por IA já atingiu o nível de máquina. A analista Lisa Warren estima que, até 2031, o tamanho do mercado de software de segurança de IA chegará a US$ 800 bilhões a US$ 1,2 trilhão.
Diante da concorrência de grandes empresas como AWS e Google, Meftah acredita que há espaço para plataformas independentes no campo da segurança de IA. Ele enfatiza: "As empresas precisam de capacidade de observabilidade e governança de ponta a ponta." A Witness AI optou por operar na camada de infraestrutura, monitorando as interações dos usuários com os modelos de IA, em vez de incorporar funcionalidades de segurança nos próprios modelos. Caccia afirma: "Nós nos concentramos em áreas que a OpenAI não pode replicar facilmente; nossos concorrentes são mais as empresas tradicionais de segurança." Ele espera que a Witness AI se torne um provedor de serviços independente, e não uma startup adquirida. "A CrowdStrike na proteção de endpoints, a Splunk em SIEM e a Okta em identidade já estabeleceram padrões", disse ele. "O objetivo da Witness AI é se juntar a elas."
