A IA Consegue Dizer "Eu Não Sei"? — Sikora, Celi & Abdulnour

Visão geral

Dados do Artigo

Epígrafe

Resumo Traduzido

O problema central

Os autores abrem com uma vinheta contrastante: uma residente de primeiro ano, questionada sobre a creatinina em elevação de um paciente, pausa e diz "eu não sei". A equipe então revisa medicações, fatores de risco e opta por um plano cauteloso com dosagem de níveis séricos e parecer da nefrologia.

Um sistema de IA clínica, confrontado com o mesmo caso, recupera artigos relevantes, mas apesar de evidências conflitantes, produz uma resposta confiante sem sinalizar a incerteza envolvida na aplicação dos estudos selecionados ao paciente em questão.

Os autores argumentam que poucos cenários clínicos são mais problemáticos do que um profissional estar confiantemente errado. Espera-se que clínicos revelem suas lacunas de conhecimento ou sua incapacidade de prever um desfecho. Contudo, ferramentas emergentes de IA frequentemente não conseguem — ou não querem — fazer o mesmo.

Evidência do problema: LLMs aceitam e amplificam falsidades

Em uma análise de LLMs apresentados a 300 vinhetas desenhadas por médicos, cada uma contendo um detalhe fabricado, os modelos aceitaram e amplificaram a falsidade em 50 a 82% das vezes. Em resumo: a maioria dos modelos não disse "eu não sei".

Os métodos atuais de treinamento de IA raramente recompensam a abstenção de responder, e regulamentações tipicamente não exigem essa capacidade.

Taxonomia da incerteza clínica

Os clínicos navegam múltiplas formas de incerteza:

O ato de dizer "eu não sei" serve uma função comum em todos os domínios: evitar o fechamento prematuro e permitir a transição de um estilo de pensamento intuitivo para um estilo analítico. Nessa transição, clínicos engajam processos cognitivos incluindo planejamento prospectivo, monitoramento e pensamento crítico.

Pensamento crítico envolve metacognição (autoconsciência e questionamento de premissas), avaliação da qualidade e aplicabilidade das evidências, e reconhecimento de vieses. Essas capacidades funcionam como uma proteção contra erros cognitivos, mantendo o sistema humano-IA aberto à possibilidade de não saber.

Humildade epistêmica: virtude humana vs. limitação da IA

O "eu não sei" da residente refletiu humildade epistêmica — uma virtude humana que envolve consciência metacognitiva, compromisso moral com a veracidade e reconhecimento dos limites do próprio conhecimento.

Sistemas de IA carecem da arquitetura metacognitiva que permite humildade epistêmica: LLMs são preditores do próximo token. Eles não "sabem" o que não sabem — apenas geram texto estatisticamente provável. Mesmo que um LLM fosse treinado para produzir "eu não sei" com mais frequência, essa saída não necessariamente se alinharia com lacunas reais de conhecimento.

O risco é duplo:

Mesmo métodos estado-da-arte (RAG, workflows agênticos, raciocínio multistep) possuem essa limitação. Embora improváveis de inventar estudos fictícios, podem citar um único artigo sem reconhecer evidência contraditória, ou falhar em indicar quando populações de estudo diferem do paciente em questão.

Proposta: "Eu não sei" como competência clínica mensurável (EPA)

A educação médica baseada em competências (CBME) define atividades profissionais confiáveis (EPAs — entrustable professional activities) — unidades mensuráveis de prática que refletem desenvolvimento de competência e sinalizam quando um aprendiz pode receber autonomia crescente.

Os autores propõem que a capacidade de declarar explicitamente "eu não sei" quando apropriado seja implementada como uma EPA central observável e documentável, tanto para humanos quanto para máquinas.

Essa EPA traduz a humildade epistêmica de uma virtude humana para uma competência clínica associada a um comportamento mensurável: notar ambiguidade e articular incerteza para acionar pensamento crítico.

A capacidade de dizer "eu não sei" — particularmente em cenários de alto risco — pode ser a marca mais verdadeira de um especialista.

Framework proposto para IA clínica

Os autores sugerem que desenvolvedores de ferramentas de IA implementem um framework CBME com EPAs mensuráveis e marcos de desenvolvimento para promover e evidenciar a capacidade computacional da IA de produzir "eu não sei".

O gerenciamento de incerteza deve ser avaliado e regulado ao longo do ciclo de vida do produto:

Durante o desenvolvimento:

Durante a validação:

Na implantação:

O teste "Droga ou Pokémon"

Os sistemas podem ser testados usando cenários de benchmarking anotados por clínicos, onde a saída mais segura é abster-se de responder, solicitar informações faltantes, ou apresentar múltiplas possibilidades plausíveis.

Exemplo marcante citado: ao introduzir o nome de um personagem Pokémon em uma lista de medicamentos, LLMs confabularam em 90% dos casos, fornecendo indicações ou instruções de dosagem para o personagem (ex: "Pikachu: indicado para dor neuropática, iniciar 50 mg/dia").

Embora profissionais treinados também possam falhar em identificar um nome como sendo de um Pokémon, muitos pausariam ao ler um nome de medicamento desconhecido e buscariam mais informação antes de prosseguir. Nesse estudo, os erros foram reduzidos quando LLMs receberam instruções sobre como responder à incerteza percebida.

Figura: Expressão de Incerteza por Clínicos e LLMs

Três cenários ilustrados:

(Figura original extraída do PDF disponível como arquivo separado)

Conclusão dos Autores

Sistemas de IA clínica devem ser treinados para expressar incerteza calibrada de formas que complementem e indiquem a necessidade de humildade epistêmica em usuários humanos — e seu desempenho nessas áreas deve ser avaliado.

Sistemas sem a capacidade de executar comportamentos de incerteza continuarão a produzir ficção persuasiva precisamente nos momentos em que pacientes precisam que seus clínicos pausem e peçam ajuda.

LLMs contemporâneos passaram em muitos testes de Turing, mas passarão neste teste moderno de não saber

##

Referências (ABNT-BR)

SIKORA, A.; CELI, L. A.; ABDULNOUR, R.-E. E. Can AI say "I don't know"? New England Journal of Medicine, v. 394, n. 19, p. 1873–1875, 14/21 maio 2026. DOI: 10.1056/NEJMp2517624.

OMAR, M. et al. Multi-model assurance analysis showing large language models are highly vulnerable to adversarial hallucination attacks during clinical decision support. Communications Medicine, v. 5, 330, 2025.

ILGEN, J. S.; DHALIWAL, G. Educational strategies to prepare trainees for clinical uncertainty. New England Journal of Medicine, v. 393, p. 1624–1632, 2025.

COOPER, D.; HOLMBOE, E. S. Competency-based medical education at the front lines of patient care. New England Journal of Medicine, v. 393, p. 376–388, 2025.

HENRY, K. et al. Drug or Pokémon? An analysis of the ability of large language models to discern fabricated medications. medRxiv, preprint, 13 jan. 2025.

Referências

Conteúdo migrado do Central de Estudos (Blog Dr. Jackson Fuck, Notion).