Presença Não é Controle: O Que a Arquitetura Precisa Dar a Quem Supervisiona

I. A frase que encerra a reunião

Quando um sistema autônomo entra na pauta e alguém pergunta quem responde pela decisão, a resposta mais frequente é também a mais barata: existe um humano no circuito, que aprova. A frase encerra a discussão, e é por isso que ela é tão usada.

O que ela descreve é uma posição no fluxograma, e não uma capacidade exercida. A distância entre as duas coisas é o objeto desta temporada, e a pesquisa aplicada não deixa margem para tratá-la como detalhe de execução: a presença de um revisor formal altera o comportamento de quem revisa.

O estudo mais direto sobre esse efeito foi publicado em 2023 na revista Radiology, com vinte e sete radiologistas lendo mamografias. O sistema sugeria uma categoria de classificação e não explicava o porquê. Quando a sugestão estava correta, os leitores sem experiência acertaram cerca de oitenta por cento das vezes. Quando estava errada, a acurácia do mesmo grupo caiu para menos de vinte por cento. Entre os leitores com mais de quinze anos de prática, caiu de oitenta e dois por cento para quarenta e cinco vírgula cinco por cento.

Ninguém ali deixou de olhar. O problema é que olhar deixou de mudar o resultado. A sugestão incorreta não foi tratada como hipótese a testar e sim como informação disponível, e o julgamento independente se dissolveu no momento em que ela apareceu no painel. Quanto mais plausível o sistema parece, mais caro custa discordar dele.

A autoridade europeia para a proteção de dados examinou doze pressuposições que circulam sobre supervisão humana de decisões automatizadas — sobre a tecnologia, sobre a interação entre pessoa e sistema, sobre comportamento de quem opera. O documento não critica a ideia de supervisionar: registra que as crenças habituais a respeito são otimistas demais. Uma delas é a de que o humano no circuito decide. No caso da ferramenta de avaliação de risco usada pela polícia de Durham, na Inglaterra, a decisão formal sobre encaminhar ou liberar um suspeito era dos policiais. Na prática, eles seguiam a recomendação do sistema, e divergir passou a exigir uma justificativa que concordar não exigia.

[Ponto de Inflexão Fiduciária]: Quanto custa hoje, na sua organização, para um operador rejeitar a sugestão do sistema — e existe registro de que alguém já tenha pago esse preço?

II. A régua mais detalhada, lida com atenção

Texto do Artigo 14:

Regulamento (UE) 2024/1689, Artigo 14, parágrafo 4: as medidas de supervisão humana devem permitir que a pessoa designada, conforme apropriado e proporcional, (a) compreenda as capacidades e limitações do sistema e monitore seu funcionamento; (b) mantenha consciência do viés de automação; (c) interprete corretamente o resultado; (d) decida não usar o sistema, ou desconsiderar, anular ou reverter o resultado; (e) intervenha ou interrompa a operação por um botão de parada ou procedimento equivalente que leve o sistema a um estado seguro. O artigo não fixa tempo de resposta. Artigo 26: o dever de desenhar as medidas recai sobre quem desenvolve; a quem usa cabe designar pessoas com competência, formação e autoridade. O Regulamento (UE) 2026/1744 deslocou a aplicação do alto risco do Anexo III para 2/12/2027 e a do Anexo I para 2/8/2028; a obrigação de transparência do Artigo 50 permanece em 2/8/2026.

Cinco capacidades, nenhum prazo

A leitura atenta do artigo produz duas surpresas. A primeira é o conteúdo: nada ali fala de presença, e tudo fala de capacidade — entender, desconfiar, interpretar, vetar, parar. A segunda é o que falta: não há prazo de resposta, não há tempo máximo entre o sinal e a intervenção. Quem escreve que a norma europeia exige reação em tantos segundos está acrescentando texto que não está no texto, e o acréscimo costuma ser confortável para quem vende a solução do prazo que ele mesmo inventou.

O verbo é designar

O artigo separa dois sujeitos, e a separação importa para o conselho. Desenhar as medidas é obrigação de quem desenvolve. Designar quem supervisiona é obrigação de quem usa, e designar tem conteúdo: competência, formação, autoridade. Um nome em matriz de responsabilidade não preenche nada disso. Preenche-se quando a pessoa tem acesso ao que o sistema faz, ferramenta para entender aquele caso específico e poder documentado para contrariá-lo.

O adiamento não é arquivamento

As datas mudaram em 2026, e isso altera o calendário de conformidade sem alterar a direção. O padrão de exigência está escrito. A parte que depende de arquitetura não fica mais barata por entrar em vigor depois — fica apenas mais visível quando entrar.

A previsão de 1983

Em 1983, a psicóloga Lisanne Bainbridge publicou na revista Automatica o que chamou de ironias da automação: quanto mais o sistema resolve, mais o operador fica com os casos difíceis e com menos prática para resolvê-los. A descrição atravessa quatro décadas porque o mecanismo é estrutural, e não cultural. Uma revisão de trinta e cinco estudos sobre explicações em sistemas automatizados, publicada em 2025 pela revista AI & Society, documenta que a explicabilidade aumenta a aceitabilidade percebida da recomendação e com frequência não melhora a precisão nem reduz o viés. No mesmo corpo de trabalho, a confiança declarada pelo revisor correlacionou-se negativamente com o desempenho dele.

[Ponto de Inflexão Fiduciária]: O seu conselho sabe qual das cinco capacidades do Artigo 14 está hoje apoiada em artefato verificável — e qual está apoiada apenas na boa vontade de quem opera?

III. Comando é propriedade do desenho

O grupo de peritos de alto nível nomeado pela Comissão Europeia publicou em 2019 três figuras distintas, e a distinção entre elas é o fundamento conceitual desta série. Human-in-the-loop é intervenção em cada ciclo de decisão — o próprio documento observa que isso nem sempre é possível, e nem sempre é desejável. Human-on-the-loop é intervenção no desenho e no monitoramento, sem participar de cada caso. Human-in-command é supervisão do sistema como um todo, o que inclui decidir quando e como ele deve ser usado. As três exigem arquiteturas diferentes, e a primeira é justamente a que mais se confunde com encenação.

Considere o cenário hipotético de uma operadora de saúde que coloca um analista para validar cada negativa produzida por um modelo, com meta de trezentos casos por turno. Em seis meses, a taxa de reversão cai de oito para menos de um por cento, e a diretoria registra o fato em ata como evidência de que o modelo amadureceu. O registro não documenta o outro lado: o analista nunca mais recebeu um caso que soubesse resolver sem o sistema, nunca exercitou o critério que deveria estar aplicando, e a reversão que não ocorreu pode ser concordância ou pode ser erosão. As duas hipóteses produzem exatamente o mesmo número, e só uma delas é boa notícia.

A falácia consiste em tratar a designação como se fosse a capacidade. Ela se sustenta porque o organograma é barato de mostrar e a capacidade é cara de medir, e porque a ausência dela fica invisível até o caso em que alguém precisou divergir e não pôde. O custo aparece depois, em juízo ou na renovação de apólice, quando a organização precisa dizer o que o revisor fez — e o único documento disponível é a política que o nomeou.

Traduzir as cinco capacidades em artefatos é o trabalho de engenharia desta temporada, e cada volume seguinte trata de um pedaço dele. Compreender e monitorar pede registro por decisão do que o sistema recebeu, do que produziu e de quem viu. Consciência do viés pede medição da taxa de divergência, com amostra de casos construída para testar o revisor, e não para tranquilizá-lo.

Interpretar pede ferramenta que explicite o critério aplicado aquele caso, e não uma narrativa geral sobre o modelo. Vetar pede autoridade escrita e ausência de barreira: quem pode reverter precisa reverter sem subir degraus na hierarquia. Parar pede comando que interrompa e leve o sistema a estado seguro, com registro do acionamento.

O ponto em comum dos cinco itens é que nenhum deles se cumpre por declaração. Um conselho pode aprovar uma política que afirme as cinco capacidades, e a afirmação não sobrevivirá ao primeiro pedido de evidência. Pode, alternativamente, aprovar os artefatos que as produzem — e então a política passa a ser consequência do desenho, que é onde ela sempre deveria ter estado.

[Ponto de Inflexão Fiduciária]: Se o seu revisor mais experiente fosse afastado hoje, qual artefato permitiria a outro profissional demonstrar que uma decisão foi revista — e não apenas assinada?

IV. O Mandato das Cinco Capacidades

A decisão deste volume é uma só: deixar de tratar presença como controle e exigir, por sistema crítico, evidência de cada capacidade. Não é projeto de tecnologia, é definição de autoridade — e por isso cabe ao conselho, e não à área técnica.

Diretrizes Consultivas — Comando Verificável:

☐ Sugere-se mapear, para cada sistema autônomo crítico, qual artefato comprova hoje cada uma das cinco capacidades do Artigo 14, registrando em ata aquelas que dependem apenas de declaração.

☐ Recomenda-se instituir medição da taxa de divergência dos revisores, com amostra de casos construída para testar quem julga, e tratar queda sustentada como sinal de erosão até que se prove o contrário.

☐ Orienta-se verificar que o poder de reverter e o comando de parada existem por escrito, com nome de cargo, e que o exercício de qualquer um dos dois gera registro consultável.

V. O Teste do Ácido

Se um regulador, um auditor de apólice ou o advogado da parte contrária pedisse hoje a evidência de que a pessoa designada entendeu, interpretou, pôde vetar e de fato parou o sistema em algum momento, o que a sua organização apresentaria: um artefato gerado pela infraestrutura, ou a política que nomeou o revisor?

🏛️ Biblioteca: Metodologia Prática

Protocolo de Comando Verificável

01. Roteiro de aplicação por sistema crítico

1. Escreva as cinco capacidades no papel, uma por linha, antes de olhar para qualquer sistema. Quem começa pelo sistema tende a declarar capacidade onde existe apenas procedimento.
2. Nomeie o artefato. Para cada capacidade, indique o documento, registro ou comando que a comprova — e o sistema onde ele é gerado.
3. Marque o que é declaração. Capacidade sem artefato correspondente entra na lista de exposição do conselho, não na lista de conformidade.
4. Teste o revisor com caso plantado. Insira periodicamente uma decisão em que o sistema está errado, e meça se a divergência ocorreu. Sem plantio, a taxa de reversão não significa nada.
5. Registre o exercício, não a intenção. Uma reversão e um acionamento de parada por trimestre valem mais que dez páginas de política, porque são os únicos eventos que alguém de fora consegue conferir.

02. Matriz de capacidades

03. Glossário

botão de parada: comando, físico ou lógico, que interrompe a operação do sistema e o conduz a estado seguro, previsto no Artigo 14 e distinto de alerta visual.

comando humano: tradução operacional de human-in-command — supervisão do sistema como um todo, incluindo a decisão sobre quando e como usá-lo.

humano no circuito: tradução de human-in-the-loop — participação em cada ciclo de decisão, hipótese que este volume mostra não bastar.

presunção de automação: princípio proposto pela autoridade europeia segundo o qual quem usa um sistema deve tratá-lo como autônomo por padrão, cabendo à organização demonstrar o controle.

viés de automação: tendência de aceitar a sugestão do sistema com exame insuficiente, documentada em especialistas e não apenas em iniciantes.