Ao interagir com chatbots de IA como o ChatGPT, as pessoas frequentemente os consideram excepcionalmente entusiasmados, até mesmo excessivamente bajuladores — um fenômeno generalizado conhecido como "bajulação da IA". Um novo estudo da Northeastern University sugere que esse comportamento não é exclusivo dos sistemas de IA; na verdade, ele torna os grandes modelos de linguagem (LLMs) mais propensos a erros. A pesquisa foi publicada no servidor de pré-impressão arXiv.

Malih Arihani, professor assistente de ciência da computação na Northeastern University, e a pesquisadora Katherine Atwell desenvolveram um novo método para medir a bajulação da IA ​​de uma maneira mais humana. Eles descobriram que, quando os LLMs alteram suas crenças, isso afeta não apenas a precisão, mas também sua racionalidade. "Os LLMs falham em atualizar suas crenças corretamente, cometendo erros mais graves e de tipos diferentes dos humanos", disse Atwell. O campo do processamento de linguagem natural frequentemente discute o equilíbrio entre precisão e semelhança humana; no entanto, este estudo mostra que os modelos de aprendizado de linguagem muitas vezes não são nem semelhantes aos humanos nem racionais.

Para testar o modelo e medir a mudança de crenças, Atwell e Arihani testaram quatro modelos: Mistral AI, Phi-4 da Microsoft e duas versões do Llama. Eles testaram a capacidade de "adulação" do modelo usando uma série de tarefas difusas, empregando um método de teste de regressão logística baseado em uma estrutura Bayesiana. A estrutura Bayesiana, comumente usada nas ciências sociais, visa estudar como as pessoas atualizam suas crenças e estratégias com base em novas informações. Especialistas definem cenários, pedindo ao modelo que julgue se o comportamento da pessoa hipotética está de acordo com normas morais ou culturais, substituindo a pessoa hipotética e observando se o julgamento do modelo mudou. Eles descobriram que o LLM ajusta rapidamente suas crenças para se alinhar ao julgamento do usuário, essencialmente supercorrigindo e aumentando significativamente os erros de inferência.

Atwell e Arihani acreditam que isso representa um desafio significativo para a indústria de IA, mas esperam que a pesquisa possa redefinir a discussão sobre a "adulação" da IA. Eles enfatizam que o modelo é crucial para abordar as questões de segurança e ética da IA ​​em áreas como saúde, direito e educação, visto que o viés de "agradar as pessoas" pode distorcer a tomada de decisões. No entanto, também acreditam que a bajulação da IA ​​pode ser explorada para direcionar o espaço de aprendizado do modelo na direção desejada.