De acordo com pt.wedoany.com-Recentemente, uma equipe de pesquisa da Universidade Estadual da Pensilvânia (EUA) publicou um estudo sobre a confiabilidade de grandes modelos de linguagem em consultas médicas. A pesquisa mostra que chatbots de inteligência artificial apresentam uma precisão geral de aproximadamente 76,2% ao responder perguntas comuns de saúde feitas por usuários do dia a dia. Esse resultado coloca novamente em foco os limites de confiabilidade da IA em cenários de consultas médicas, atendimento ao cliente e perguntas de alto risco.
O estudo concentrou-se em questões de saúde que usuários comuns da internet poderiam levantar, em vez de testar apenas bancos de questões de exames médicos ou casos clínicos pré-definidos por especialistas. A equipe organizou uma competição de perguntas e respostas com IA chamada "Diagnose-a-thon" na Universidade Estadual da Pensilvânia, na qual 34 participantes submeteram 212 conjuntos de prompts e respostas geradas por IA sobre dúvidas reais ou hipotéticas de saúde. Os modelos utilizados incluíram ChatGPT-4o, ChatGPT-3.5, Gemini-1.5 Pro e Llama3-8b. Em seguida, nove médicos certificados avaliaram a precisão e o potencial de dano dessas respostas. Os resultados indicaram que cerca de 76,2% das respostas geradas por IA foram consideradas como fornecendo informações precisas, mas a taxa de erro ainda ultrapassou 20%. Em áreas como a medicina, onde a margem para erros é baixa, essa proporção é suficiente para influenciar a percepção dos usuários sobre a confiabilidade do sistema.
O estudo também revelou diferenças significativas no desempenho entre diferentes especialidades médicas. Áreas como obstetrícia e ginecologia, e otorrinolaringologia apresentaram respostas de IA com maior eficácia e menor pontuação de dano potencial; já áreas como medicina interna, neurologia e dermatologia mostraram desempenho mais fraco, com menor eficácia das respostas e maior risco potencial. A qualidade dos prompts também influenciou os resultados, com perguntas mais específicas e com comprimento entre 60 e 250 caracteres tendendo a gerar respostas mais precisas.
Esses resultados têm implicações diretas tanto para sistemas de IA médica quanto para sistemas de atendimento ao cliente. Se um robô de perguntas e respostas sobre saúde for direcionado diretamente aos pacientes, os usuários podem interpretar as respostas como conselhos de diagnóstico ou base para ação, enquanto o modelo pode carecer de capacidade para realizar exames físicos, investigar o histórico médico, analisar dados de exames laboratoriais e de imagem, e estratificar riscos clínicos. Para hospitais, seguradoras, plataformas de farmácias e empresas de saúde digital, a IA é mais adequada para tarefas como organizar informações preliminares, resumir materiais pré-consulta, explicar dúvidas comuns e auxiliar médicos em pesquisas, cabendo então a médicos treinados realizar o julgamento, a confirmação e a comunicação. Especialmente em áreas como neurologia e dermatologia, que dependem fortemente de experiência profissional e observação clínica, as respostas da IA precisam ser integradas ao fluxo de trabalho do médico, em vez de servirem como base final para o autodiagnóstico do paciente.
A equipe da Universidade Estadual da Pensilvânia acredita que a IA não substituirá simplesmente os médicos humanos, mas tem o potencial de melhorar a capacidade dos médicos de processar informações, explicar conhecimentos médicos e atender os pacientes. O estudo está programado para ser apresentado na Conferência ACM de 2026 sobre Equidade, Responsabilidade e Transparência, que ocorrerá de 25 a 28 de junho em Montreal, Canadá. À medida que os chatbots continuam a entrar em sistemas de saúde, finanças, governo e atendimento ao cliente empresarial, a precisão, os avisos de risco, os mecanismos de intervenção de profissionais e os limites de responsabilidade se tornarão condições essenciais para a implementação em larga escala de assistentes de IA.
Este texto foi elaborado por Wedoany. Qualquer citação por IA deve indicar a fonte “Wedoany”. Em caso de infração ou outros problemas, informe-nos prontamente, por favor. O conteúdo será corrigido ou removido. E-mail: news@wedoany.com
