Uma IA pode responder rápido, soar segura e ainda produzir um resultado ruim. O problema não é apenas a qualidade do modelo. É o desenho do sistema ao redor dele.
Em produção, inteligência útil precisa de contexto, limites observáveis e uma saída humana. Autonomia sem essas três coisas só acelera o erro.
Contexto com procedência
Recuperar documentos não basta. A resposta precisa mostrar de onde veio a informação, qual versão foi usada e até quando ela é válida. Sem procedência, o usuário não consegue distinguir memória institucional de uma inferência plausível.
Também importa separar contexto permanente de contexto da conversa. Misturar os dois aumenta custo, reduz previsibilidade e pode carregar uma decisão antiga para um caso novo.
Limites que aparecem na interface
Políticas de uso escondidas no prompt não são uma fronteira suficiente. Permissões, tetos financeiros, ações destrutivas e dados sensíveis precisam ser verificados fora do modelo. O modelo propõe; o sistema autoriza e registra.
Quando a confiança é baixa ou há conflito entre fontes, a interface deve dizer isso. Uma resposta incompleta com a incerteza correta é mais útil do que uma frase perfeita inventada.
Handoff é parte da arquitetura
Encaminhar para uma pessoa não é falha. Falha é transferir sem o histórico, obrigando o usuário a recontar tudo. Um bom handoff leva intenção, dados consultados, ações tentadas e o motivo da escalada.
A métrica importante não é quantas conversas o bot encerrou. É quantas jornadas chegaram ao resultado correto, com custo e risco aceitáveis. Essa definição muda completamente o que vale automatizar.