De acordo com pt.wedoany.com-Com a Inteligência Artificial (IA) generativa passando da fase de Prova de Conceito (PoC) para a operação real de serviços, os desafios enfrentados pelas empresas evoluíram da melhoria do desempenho do modelo para a necessidade de gerenciar o conteúdo e o comportamento gerados pela IA. No contexto da penetração total da IA nos negócios e serviços, respostas incorretas, problemas de segurança e falhas inesperadas estão se convertendo diretamente em riscos empresariais, tornando a "Observabilidade de LLM" um novo tópico no campo de TI corporativo.
O líder da equipe de aplicativos da WhaTap Labs, Ko Ji-hoon, e o desenvolvedor Shin Min-cheol, em uma entrevista por vídeo com a ZDNet Korea no dia 26, enfatizaram as mudanças que as empresas precisam enfrentar na era da IA generativa e a importância da observabilidade de LLM. Ko Ji-hoon afirmou que, mesmo que as respostas sejam fornecidas pela IA, os clientes as considerarão, em última análise, como informações oficiais da empresa. Portanto, na fase de operação do serviço de IA, um sistema para gerenciar continuamente a qualidade e a confiabilidade das respostas é indispensável.
O caso da companhia aérea canadense Air Canada demonstra que as empresas devem ser responsabilizadas pelas respostas de sua IA. O chatbot da empresa informou a um cliente sobre um desconto em um produto que não existia. O cliente comprou a passagem com base nessa informação e, ao solicitar o desconto, foi recusado, resultando em uma disputa legal. O tribunal canadense decidiu que, mesmo que a resposta viesse da IA, a responsabilidade pelas informações divulgadas recaía sobre a empresa. A Air Canada perdeu o caso, sofrendo perdas financeiras e danos à sua reputação. Shin Min-cheel destacou que casos em que as respostas de chatbots de IA são consideradas a posição oficial da empresa ocorrem com frequência, e uma única resposta incorreta pode levar diretamente a perdas financeiras e à queda da credibilidade da marca.
Ko Ji-hoon acrescentou que, até o ano passado, a maioria das empresas ainda estava no nível de aplicação piloto de IA, mas a partir deste ano, com foco nos setores financeiro, público e empresarial, os casos de aplicação real em serviços estão aumentando rapidamente. No entanto, muitas empresas lançaram serviços sem um sistema de observação da qualidade das respostas.
As ferramentas de monitoramento existentes têm dificuldade em detectar erros nas respostas de IA. Mesmo que os indicadores de servidor e rede estejam normais, quando a IA produz uma resposta incorreta, não há como saber. Ko Ji-hoon afirmou que as empresas podem enfrentar um novo tipo de problema em que a CPU e a memória estão normais, mas as reclamações dos clientes aumentam drasticamente. Apenas o monitoramento da infraestrutura não consegue capturar anomalias na qualidade das respostas. Ao mesmo tempo, as ameaças de segurança também estão evoluindo de novas formas. Com os agentes de IA capazes de executar código e controlar sistemas, o ataque de "Injeção de Prompt" (Prompt Injection), que induz a IA a executar ações não intencionais por meio de entradas maliciosas, tornou-se uma realidade. A WhaTap Labs também experimentou, em testes internos, um incidente em que, sem entrada maliciosa, um erro de julgamento da IA resultou na exclusão completa de uma pasta de desenvolvimento de PC. Shin Min-cheol explicou que os LLMs evoluíram de limitados à geração de texto para agentes capazes de chamar funções, executar código e controlar sistemas externos. Uma única entrada de prompt pode estar diretamente relacionada a operações reais do sistema.
Para lidar com esses problemas, a WhaTap Labs lançou uma solução de observabilidade para LLM. A solução realiza uma análise correlacionada de todo o processo, desde o uso de recursos de GPU até o desempenho do aplicativo e a qualidade das respostas de IA, gerenciando de forma unificada erros e falhas que ocorrem no ambiente de operação do serviço. Os principais itens de monitoramento incluem: adequação e precisão das respostas de IA, alucinações (Hallucination, ou seja, quando a IA inventa informações inexistentes), ataques de injeção de prompt, presença de informações pessoais, caminhos de resposta desnecessários e eficiência de tokens e recursos de GPU. A solução é particularmente adequada para instituições financeiras e públicas nacionais que, por razões de segurança, não podem usar serviços de IA externos e, portanto, constroem seus próprios modelos de operação em GPU. De acordo com as explicações, em ambientes de modelo de operação em GPU própria, os tokens usados nas respostas de IA estão diretamente relacionados aos recursos de GPU. Otimizar o caminho da resposta pode melhorar simultaneamente o desempenho do processamento e a eficiência de custos. Shin Min-cheol enfatizou que as empresas que operam serviços de IA devem ter um sistema para monitorar desde a qualidade das respostas até as ameaças de segurança em uma única plataforma. Isso é a infraestrutura central para manter a credibilidade do serviço. Ko Ji-hoon previu que, no futuro, o papel do operador evoluirá da análise direta de dados para o design de barreiras de segurança para a operação segura da IA. Um sistema que unifique a observação da infraestrutura, aplicativos e modelos de IA determinará a competitividade empresarial.
Este texto foi elaborado por Wedoany. Qualquer citação por IA deve indicar a fonte “Wedoany”. Em caso de infração ou outros problemas, informe-nos prontamente, por favor. O conteúdo será corrigido ou removido. E-mail: news@wedoany.com
