Deepgram Voice Agents Guide — Fichamento
IA & Tecnologia · Central de Estudos
🤖 IA & Tecnologia

Deepgram Voice Agents Guide — Fichamento

IA & Tecnologia 📄 Resumo de estudo 🏥 UTI / Emergência
§ 01

Visão geral

Deepgram (2026). The Definitive Guide to Voice AI Agents. Capítulos 0-9 + Apêndices.

§ 02

Mensagem Principal

Voice agents são sistemas de software em tempo real, production-grade — não demos. O guia defende uma arquitetura streaming-first com camada de fala unificada (ASR + TTS + transporte) coordenada por runtime de orquestração dedicado. O ciclo conversacional (Listen → Understand → Reason → Respond → Speak) deve ser tratado como um sistema distribuído event-driven, não como pipeline sequencial.

§ 03

Visão Geral

Stack em Duas Camadas

  • Core Conversational Layer: Audio I/O, STT/CSR, LLM/Reasoning, TTS, Orchestration Runtime — não-negociável
  • Operational Layer: Memory/Context, Observability, Integration (function calling), Compliance/Security

    • 4 Abordagens de Construção

  • DIY Frameworks: LiveKit, Pipecat — máximo controle
  • Unified APIs: Deepgram Voice Agent API, OpenAI Realtime — runtime integrado
  • Managed Platforms: Vapi, Retell — builders visuais + telephony
  • Enterprise Suites: Cognigy, Kore.ai — voice como canal em sistema multimodal
    • § 04

    Conceitos-Chave

    Conversational Loop

    Listen → Understand → Reason → Respond → Speak. Em produção, opera como sistema streaming event-driven com sobreposição, não pipeline sequencial.

    Flux Turn Management

    Modelo unificado de transcrição + detecção de turno. State machine: StartOfTurn → TurnOngoing → EagerEndOfTurn (raciocínio especulativo) → EndOfTurn (confirmação). Elimina VAD separado.

    Think → Act Pattern

    Modelo decide O QUE fazer, código determinístico executa COMO. Function calling como interface de ação. O modelo NUNCA toca sistemas externos diretamente.

    VAQI (Voice Agent Quality Index)

    Métrica de 3 dimensões: Interrupções (I) + Missed Responses (M) + Latência (L). Derivada de event timestamps, automatizável em CI/CD. Sub-segundo é o padrão de referência (Retell AI: ~800ms).

    § 05

    Produtos Deepgram

  • Flux — STT + detecção de turno unificados
  • Aura-2 — TTS streaming de baixa latência
  • Voice Agent API — Runtime de orquestração em tempo real com function calling
  • Neuroplex — Pesquisa speech-to-speech (futuro)
    • § 06

    Relevância para Sentinel-ICU

    A arquitetura de voice agents é diretamente aplicável a sistemas de alerta e interação clínica: (1) VAQI adaptado para medir latência de alertas clínicos e taxa de falsos positivos, (2) Padrão Think → Act como modelo para sistemas de apoio à decisão que sugerem mas não executam ações clínicas automaticamente, (3) Orquestração event-driven como arquitetura para o barramento de mensagens MQTT do Sentinel-ICU.

    § 07

    Aplicabilidade Clínica

    ALTA. Padrões arquiteturais do guia são transferíveis para sistemas de monitoramento clínico em tempo real, especialmente o modelo event-driven com detecção de turno (análogo a detecção de eventos clínicos) e a separação Think → Act (análogo a Clinical Decision Support → Ação supervisionada).

    § 08

    Tags

    #voice-ai #voice-agents #real-time-systems #deepgram #conversational-ai #orchestration #event-driven #sentinel-icu #clinical-alerts

    Refs

    Referências

    Conteúdo migrado do Central de Estudos (Blog Dr. Jackson Fuck, Notion).