🤖 IA & Tecnologia
Humanity’s Next Medical Exam: Preparing to Evaluate Superhum
§ 01
Visão geral
§ 02
Preparando-se para Avaliar Sistemas Sobre-Humanos
Editorial publicado no NEJM AI (outubro 2025)
Autores: Jack Gallifant e Danielle S. Bitterman (Harvard/Dana-Farber)
§ 03
O Problema Central
A IA em saúde evoluiu rapidamente: de simples recuperação de fatos para raciocínio complexo, colaboração e uso de ferramentas. Porém, nossos métodos de avaliação não acompanharam essa evolução.
plain text
┌─────────────────────────────────────────────────────────────┐
│ EVOLUÇÃO DA IA MÉDICA (últimos 3 anos) │
│ │
│ ANTES AGORA FUTURO │
│ ───── ───── ────── │
│ Recuperação → Raciocínio → Sistemas │
│ de fatos complexo autônomos │
│ + ferramentas sobre-humanos │
└─────────────────────────────────────────────────────────────┘
§ 04
O Estudo de Palepu et al. (2025)
O sistema AMIE (Google, baseado em Gemini 2.5 Pro) foi testado em 60 casos sintéticos de câncer de mama:
| Comparação | Resultado |
|---|---|
| IA vs. Residentes (<1 ano em oncologia) | IA superior |
| IA vs. Oncologistas experientes | Oncologistas superiores |
| Taxa de danos nas respostas | Baixa |
Conclusão dos autores do estudo original: resultados ainda não aplicáveis clinicamente, mas demonstram avanços impensáveis há 3 anos.
§ 05
Por Que os Exames Atuais São Insuficientes?
A comunidade médica mantém cautela justificada. O editorial destaca uma analogia importante:
Passar em um exame não produz um clínico competente — assim como aprovação em prova não é o único requisito para licenciamento médico.
A Realidade do Trabalho Médico
plain text
┌────────────────────────────────────────────────┐
│ DISTRIBUIÇÃO DO TEMPO DO MÉDICO │
│ │
│ ████████████████░░░░░░░░░░░░░░░░░░ 40% │
│ Contato direto com paciente │
│ │
│ ░░░░░░░░░░░░░░░░████████████████████ 60% │
│ Burocracia, dados, coordenação, │
│ famílias, incentivos desalinhados │
└────────────────────────────────────────────────┘
O papel do médico vai muito além de perguntas e respostas. Muitas decisões não têm uma única resposta correta.
§ 06
A Proposta: "Humanity's Next Medical Exam"
Inspirado no "Humanity's Last Exam" (benchmark onde os melhores LLMs pontuam apenas 25%), os autores propõem três pilares:
plain text
╔═══════════════════════════════════════╗
║ HUMANITY'S NEXT MEDICAL EXAM ║
╚═══════════════════════════════════════╝
│
┌──────────────────────────┼──────────────────────────┐
│ │ │
▼ ▼ ▼
┌─────────────┐ ┌─────────────┐ ┌─────────────┐
│ PILAR 1 │ │ PILAR 2 │ │ PILAR 3 │
│ Interrogação│ │ Aprendizado │ │ Aprendizado │
│ Interativa │ │ em Sandbox │ │ Contínuo │
└─────────────┘ └─────────────┘ └─────────────┘
Pilar 1: Interrogação Interativa
Analogia: Exame oral de banca, não prova de múltipla escolha.
| O que avaliar | Como |
|---|---|
| Conversação clínica coerente | Diálogo sustentado |
| Defesa de planos terapêuticos | Questionamento ativo |
| Revisão com novos dados | Cenários dinâmicos |
| Reconciliação de contradições | Casos conflitantes |
Foco: Raciocínio aplicado, adaptabilidade e responsabilização — não memorização.
Pilar 2: Aprendizado em Ambientes Sandbox
Analogia: Residência virtual em simulador de alta fidelidade.
plain text
┌────────────────────────────────────────────────────────────┐
│ CICLO DE APRENDIZADO │
│ │
│ ┌──────────┐ ┌──────────┐ ┌──────────┐ │
│ │ AGIR │ → │ OBSERVAR │ → │ APRENDER │ │
│ │ │ │ DESFECHOS│ │ │ │
│ └──────────┘ └──────────┘ └──────────┘ │
│ ▲ │ │
│ └────────────────────────────────────┘ │
│ REFINAMENTO CONTÍNUO │
└────────────────────────────────────────────────────────────┘
Exemplo prático: A IA aprende trade-offs clínicos — como equilibrar coleta de exames adicionais vs. velocidade diagnóstica vs. risco de achado perdido.
Desafio central: Criar ambientes interativos diversos e de alta qualidade.
Pilar 3: Aprendizado Contínuo no Mundo Real
O conceito de Learning Health System (sistema de saúde que aprende), prometido há décadas, pode finalmente se concretizar via IA.
| Pergunta | Aplicação |
|---|---|
| O sistema melhora a cada interação? | Monitoramento contínuo |
| Integra pesquisas recentes para casos específicos? | Atualização em tempo real |
| Sintetiza dados genômicos com feedback do paciente? | Medicina personalizada |
Visão: Cada encontro clínico torna-se uma oportunidade de aprendizado sistêmico.
§ 07
Pré-requisitos para Implementação
plain text
┌─────────────────────────────────────────────────────────────────┐
│ INFRAESTRUTURA NECESSÁRIA │
├─────────────────────────────────────────────────────────────────┤
│ │
│ 1. SANDBOXES DE PESQUISA │
│ • Simulação de trajetórias históricas │
│ • Geração de dados sintéticos │
│ • Acesso seguro e em tempo quase-real │
│ │
│ 2. INTEROPERABILIDADE DE DADOS │
│ • APIs abertas e padronizadas para PEPs │
│ • Regulação governamental mais forte │
│ • Fim do "vendor lock-in" │
│ │
│ 3. COLABORAÇÃO CLÍNICA-ENGENHARIA │
│ • Investimento urgente em benchmarking │
│ • Testes de estresse das tecnologias atuais │
│ │
└─────────────────────────────────────────────────────────────────┘
§ 08
Por Que o Ceticismo Médico é Válido?
Os autores reconhecem que a cautela dos médicos reflete compreensão sistêmica, não medo da tecnologia:
plain text
┌─────────────────────────────────────────────────────────────┐
│ EXPERTISE MÉDICA ALÉM DO CONHECIMENTO │
│ │
│ • Julgamento clínico desenvolvido na prática │
│ • Manejo de pacientes atípicos com valores diversos │
│ • Negociação com negativas de convênios │
│ • Gestão de demandas concorrentes │
│ • Conforto em meio à incerteza │
│ │
└─────────────────────────────────────────────────────────────┘
§ 09
Mensagem Final
"A medicina é praticada no espaço humano complexo entre os fatos, e é aqui que a IA deve agora ser testada."
A transição de informação estática para interação dinâmica marca uma nova era para a IA médica. O sucesso depende de:
§ 10
Referência Bibliográfica
GALLIFANT, Jack; BITTERMAN, Danielle S. Humanity's next medical exam: preparing to evaluate superhuman systems. NEJM AI, v. 2, n. 11, 2025. DOI: 10.1056/AIe2501008. Disponível em: https://ai.nejm.org. Acesso em: 28 nov. 2025.
§ 11
📄 Análise do Artigo: *Humanity's Next Medical Exam*
🎯 Informações Gerais
| Campo | Detalhes |
|---|---|
| Título | Humanity's Next Medical Exam: Preparing to Evaluate Superhuman Systems |
| Autores | Jack Gallifant (M.B.B.S.) e Danielle S. Bitterman (M.D.) |
| Publicação | NEJM AI 2025;2(11) |
| DOI | 10.1056/AIe2501008 |
| Data de Publicação | 23 de outubro de 2025 |
§ 12
🧠 Resumo Estruturado do Notion
📌 Contexto e Problema Central
O editorial aborda um problema urgente: como avaliar sistemas de IA médica que estão se aproximando (ou ultrapassando) o desempenho humano?
💡 Ponto-Chave: Os métodos atuais de avaliação (baseados em perguntas e respostas) são inadequados para capturar as nuances da prática clínica real.
O artigo usa como exemplo o estudo de Palepu et al. (2025), que demonstrou:
🔍 Por Que os Testes Atuais São Insuficientes?
javascript
┌─────────────────────────────────────────────────────────────────┐
│ O QUE O MÉDICO FAZ NO DIA A DIA │
├─────────────────────────────────────────────────────────────────┤
│ 40% │ Contato direto com paciente │
│ 60% │ Burocracia, dados desorganizados, coordenação, │
│ │ conversas com famílias, reação a incentivos desalinhados│
└─────────────────────────────────────────────────────────────────┘Problemas identificados:
🏛️ Os Três Pilares do "Humanity's Next Medical Exam"
Os autores propõem uma nova estrutura de avaliação baseada em três pilares fundamentais:
javascript
┌─────────────────────────────────┐
│ HUMANITY'S NEXT MEDICAL EXAM │
└─────────────────────────────────┘
│
┌─────────────────────────┼─────────────────────────┐
▼ ▼ ▼
┌──────────────────┐ ┌──────────────────┐ ┌──────────────────┐
│ PILAR 1 │ │ PILAR 2 │ │ PILAR 3 │
│ INTERROGAÇÃO │ │ APRENDIZADO │ │ APRENDIZADO │
│ INTERATIVA │ │ EM SANDBOX │ │ CONTÍNUO │
└──────────────────┘ └──────────────────┘ └──────────────────┘🎤 Pilar 1: Interrogação Interativa
| Conceito | Descrição |
|---|---|
| Analogia | Exame oral de banca (board-style) vs. prova de múltipla escolha |
| Objetivo | Avaliar se o sistema consegue: |
| • Sustentar conversa clínica coerente | |
| • Defender planos de tratamento | |
| • Revisar recomendações com novos dados | |
| • Reconciliar contradições |
💡 Foco: Sair do recall de conhecimento → Raciocínio aplicado, adaptabilidade e accountability
🎮 Pilar 2: Aprendizado em Ambientes Sandbox
javascript
┌────────────────────────────────────────────────────────────────┐
│ AMBIENTE SIMULADO │
│ ┌──────────┐ ┌──────────┐ ┌──────────┐ │
│ │ AGIR │───▶│OBSERVAR │───▶ │ APRENDER │ │
│ │ │ │RESULTADOS│ │ COM │ │
│ │ │ │ │ │CONSEQUÊN-│ │
│ │ │ │ │ │ CIAS │ │
│ └──────────┘ └──────────┘ └──────────┘ │
│ ▲ │
│ └─────── Ciclo contínuo │
└────────────────────────────────────────────────────────────────┘Características:
🔄 Pilar 3: Aprendizado Contínuo no Mundo Real
O conceito de Learning Health System (sistema de saúde que aprende):
💡 Este pilar empurra os limites da supervisão humana — exatamente o ponto de um sistema que aprende.
⚙️ Pré-requisitos para Implementação
javascript
┌─────────────────────────────────────────────────────────────────┐
│ INFRAESTRUTURA NECESSÁRIA │
├─────────────────────────────────────────────────────────────────┤
│ ✓ Sandboxes de pesquisa seguros e em tempo real │
│ ✓ Simulação de alta fidelidade de trajetórias históricas │
│ ✓ Geração de dados sintéticos para cenários novos │
│ ✓ APIs padronizadas e abertas para prontuários eletrônicos │
│ ✓ Regulamentação governamental para compartilhamento de dados │
│ ✓ Quebra dos silos de dados ("vendor lock-in") │
└─────────────────────────────────────────────────────────────────┘§ 13
🔬 Crítica do Artigo
✅ Aspectos Positivos
| Aspecto | Comentário |
|---|---|
| Timing perfeito | Aborda uma lacuna urgente enquanto a IA avança rapidamente |
| Framework estruturado | Os 3 pilares são claros, complementares e escaláveis |
| Reconhece limitações dos benchmarks | Admite que provas de múltipla escolha não traduzem competência clínica |
| Visão de futuro realista | Prepara para sistemas "super-humanos" sem ser sensacionalista |
| Respeita o ceticismo médico | Valida que a cautela vem de experiência clínica, não de tecnofobia |
| Propõe governança evolutiva | Sugere que avaliação e segurança devem evoluir junto com os modelos |
❌ Aspectos Negativos / Limitações
| Aspecto | Comentário |
|---|---|
| Falta de roadmap concreto | Os pilares são conceituais; não há cronograma ou métricas específicas |
| Dependência de infraestrutura inexistente | APIs abertas e regulamentação forte são pré-requisitos distantes em muitos países |
| Custo não abordado | Sandboxes de alta fidelidade e aprendizado contínuo exigem investimento massivo |
| Questões éticas superficiais | Não aprofunda privacidade, consentimento para dados de treinamento em tempo real |
| Generalização limitada | Focado em oncologia (pelo estudo citado); outros campos podem ter desafios distintos |
| Governança vaga | Quem define "alinhamento com valores humanos"? Quem audita? |
🏥 O Que Pode Ser Incorporado na Prática Diária?
| Ação | Aplicação |
|---|---|
| Tratar IA como residente iniciante | Usar para brainstorming, não como decisão final |
| Questionar ativamente as sugestões da IA | Perguntar "por quê?" e buscar contradições — aplicar o Pilar 1 na prática |
| Documentar erros e acertos | Criar um "mini-sandbox" institucional de aprendizado |
| Não abandonar julgamento clínico | Lembrar que 60% do trabalho médico está fora do que a IA avalia |
| Advogar por interoperabilidade | Pressionar fornecedores de prontuários por APIs abertas |
| Educação continuada em IA | Entender limitações e vieses dos modelos usados |
📊 Síntese Visual Final
javascript
┌─────────────────────────────────────────────────────────────────┐
│ MENSAGEM CENTRAL │
├─────────────────────────────────────────────────────────────────┤
│ │
│ "A medicina é praticada no espaço humano complexo entre │
│ os fatos — e é aqui que a IA precisa ser testada." │
│ │
│ → Sair de: Provas de conhecimento │
│ → Ir para: Avaliação de sabedoria clínica + valores humanos │
│ │
└─────────────────────────────────────────────────────────────────┘Este editorial é um chamado para ação importante: precisamos preparar frameworks de avaliação antes que sistemas de IA ultrapassem definitivamente a capacidade humana de supervisioná-los.
⚙️ Fluxograma
mindmap
root((Humanity's Next
Medical Exam))
🎯 Problema Central
Benchmarks atuais são fracos
Focam em decoreba, não raciocínio
Não medem segurança real
🔄 Os 3 Pilares
1. Interrogatório Interativo
Prova oral
Defesa de conduta
2. Sandboxes
Simulação
Aprendizado por erro
3. Aprendizado Contínuo
Mundo real
Evolução constante
🚀 Conceito Chave
Desempenho Sobre-humano
Além do teto humano
Era da Experiência
⚠️ Desafios
Dados em silos
Falta de APIs abertas
Regulação governamental⚙️ Fluxograma
flowchart TD
subgraph Atual["Paradigma Atual (Insuficiente)"]
A[Dados Estáticos] --> B[Treinamento de IA]
B --> C{Teste Q&A Escrito}
C -->|Passou| D[Aprovação Teórica]
C -->|Falhou| B
end
subgraph Novo["Humanity's Next Medical Exam"]
E[IA Avançada] --> F{Pilar 1: Interrogatório}
F -->|Defende Conduta?| G{Pilar 2: Sandbox}
G -->|Aprende com Erros?| H{Pilar 3: Mundo Real}
H -->|Melhora Contínua?| I[IA Segura e Sobre-humana]
style F fill:#F5A623,stroke:#C87E0A,color:#fff
style G fill:#4A90E2,stroke:#2E5C8A,color:#fff
style H fill:#7ED321,stroke:#5FA019,color:#fff
style I fill:#9013FE,stroke:#6B0FB8,color:#fff
end
style Atual fill:#f9f9f9,stroke:#333,stroke-dasharray: 5 5
style Novo fill:#f0f8ff,stroke:#333Refs
Referências
[3]notion.so ↗