I. A Linha Aprovada Sem Número
Considere a reunião em que a diretoria apresenta, pela primeira vez, o ato de linha de um sistema de análise de pedidos. A apresentação mostra as classes de decisão, as faixas e o cargo de quem revisa. O Conselho aprova a política. A governança, nesse momento, cumpriu o desenho proposto no volume anterior.
Três meses depois, ninguém na sala sabe responder a perguntas simples. Quantas decisões o sistema tomou sem revisão? Quantas foram para a fila? Quanto tempo, em média, cada caso da fila recebeu? Quantas decisões do modelo foram revertidas por quem revisou?
Sem essas respostas, o Conselho aprovou uma política sobre um sistema cujo comportamento não conhece, e a diretoria assinou uma linha cujo efeito não acompanha. A linha existe no papel; o que ela faz na operação continua fora da ata.
[Ponto de Inflexão Fiduciária]: O Conselho que aprova a linha sem receber dado sobre a fila a supervisiona, ou a ratifica uma vez e passa a confiar no silêncio?
II. O Que as Referências Dizem Sobre o Tempo de Quem Revisa
A fila só se torna fato de governança quando alguém a mede. Duas referências europeias, ambas tratando de supervisão humana, indicam o que medir.
A Agencia Española de Protección de Datos, em análise publicada em 04/03/2024 sobre como avaliar a intervenção humana em decisões automatizadas, incluiu entre as condições de uma intervenção significativa os meios práticos para exercê-la, e entre eles o tempo adequado por decisão. A mesma análise inclui a independência de quem revisa diante de pressões da organização.
O texto trata de proteção de dados na União Europeia. Entra aqui como régua de comparação para o desenho, e não como obrigação no Brasil.
O Supervisor Europeu de Proteção de Dados (EDPS), em documento técnico sobre supervisão humana de decisões automatizadas, afirma que simplesmente acrescentar um humano ao processo de decisão não garante, por si, melhores resultados, e que a supervisão humana precisa complementar, e não compensar, fragilidades sistêmicas. Entre os deveres de quem implanta o sistema, lista dar tempo de revisão suficiente e estabelecer protocolos claros sobre quando a intervenção é esperada.
O ponto, para a diretoria, é de desenho e de orçamento. Uma faixa “revisa antes” que recebe mais casos do que o tempo previsto permite revisar não é uma faixa de revisão: é uma faixa de execução com uma etapa a mais. A medida de tempo por decisão é o que permite ver isso antes de um incidente, e decidir se a resposta é mudar a linha, mudar o quadro de pessoas ou mudar o sistema.
[Ponto de Inflexão Fiduciária]: Quando o Conselho aprova uma meta de produtividade e uma faixa de revisão para o mesmo grupo, não está aprovando duas metas que podem se anular?
III. Evidência de Fila: Três Medidas de Origem Local
Chamamos de evidência de fila o conjunto mínimo de medidas, produzidas pela própria organização, que mostra como as decisões estão distribuídas entre as faixas e o que acontece com as que vão para revisão. Não é um número desta série: é um número que só a organização pode produzir, e que merece lugar na ata. Propomos três medidas, por faixa e por período.
1. Volume roteado por faixa. Quantas decisões, no período, ficaram em cada faixa: executa com registro, executa com amostragem, revisa antes, delibera. A medida mostra se a distribuição real corresponde ao que o ato de linha previu. Uma mudança brusca, sem mudança de política, costuma indicar que o modelo mudou e que a linha passou a decidir outra coisa.
2. Tempo por decisão revisada. Quanto tempo, em média e na distribuição, cada caso da faixa de revisão recebeu de quem revisou. A medida mostra se a revisão prevista é viável na prática.
3. Taxa de reversão. Que proporção das decisões revisadas teve o resultado do modelo alterado. Lida ao longo do tempo, mostra se a revisão está exercendo julgamento ou apenas confirmando.
As três dispensam ferramenta nova. Pedem que alguém as defina, que alguém as produza com método declarado e que alguém as leve à ata com a mesma periodicidade. As três vêm dos registros do próprio sistema e da ferramenta de fila.
A fila é identificada por cargo de processo e por caixa por faixa, nunca por pessoa. Esta série não mede a atenção de ninguém, e o enfraquecimento da atenção de quem supervisiona é tema de outra série desta temporada. Mede a prova que pode estar faltando na ata.
Quem produz cada medida, de que fonte e com que cadência
Uma medida sem dono vira número que ninguém defende. Sugere-se que cada uma tenha um cargo de processo responsável por produzi-la, uma fonte nomeada e uma periodicidade registrada no ato de linha. O volume por faixa vem do registro do sistema de decisão; o tempo por decisão, do registro da ferramenta de fila; a taxa de reversão, do cruzamento entre os dois. A produção é trimestral, na véspera da ata, e o método de cálculo fica anexado, para que o número de um trimestre se compare ao do seguinte.
O método declarado importa tanto quanto o número. Mudar a definição de “decisão revisada” entre um trimestre e outro, por exemplo, altera a taxa de reversão sem que nada tenha mudado na operação. Por isso a primeira ata que traz a evidência de fila também aprova as definições, e qualquer alteração posterior nelas é registrada com data e razão.
O que fazer com um número ruim
O risco mais comum, depois que a evidência de fila passa a existir, é tratar o número ruim como falha de quem trabalha na fila. A leitura correta vai no sentido oposto: um tempo por decisão muito curto, ou uma taxa de reversão muito baixa, é primeiro um dado sobre o desenho da linha, e só depois sobre qualquer pessoa. Por isso as medidas são por faixa e por cargo, e nunca por indivíduo.
Sugere-se que o Conselho combine de antemão as respostas possíveis, para que o número ruim não dispare improviso. Se o volume na faixa de revisão cresce além do que a caixa prevê, as opções são rever a linha, rever o quadro de pessoas ou rever o sistema. Se a taxa de reversão cai sem explicação, a amostra de qualidade é antecipada. Combinar isso na aprovação da política tira de cada ocorrência o caráter de discussão nova, e dá à diretoria a previsibilidade de que precisa para assinar.
Convém ainda que cada resposta combinada tenha prazo e responsável por cargo, nunca por pessoa, e que a decisão tomada em reunião seja registrada ao lado do número que a motivou. Na revisão seguinte, o Conselho compara o que decidiu com o que de fato mudou na série, e a evidência de fila passa a medir também a qualidade das respostas da própria governança, e não apenas a da fila.
Os documentos existiam. O que faltava era método para lê-los. A lição para a evidência de fila é direta: o registro, sozinho, não prova revisão. Sem critério declarado de leitura e sem conferência por alguém de fora, o dado existe e o controle, não.
O caso é do setor público dos Estados Unidos e entra como ilustração de falha de evidência, e não como padrão aplicável ao Brasil.
[Ponto de Inflexão Fiduciária]: O Conselho acompanha o que a linha aprovada faz, ou apenas sabe que a aprovou?
Como o Conselho lê a série, não o ponto
Um único trimestre diz pouco. O volume por faixa só ganha sentido quando comparado ao período anterior e ao que a política previa; o tempo por decisão revisada só informa quando acompanhado de sua distribuição, porque a média esconde os casos que consumiram minutos e os que consumiram dias. Sugere-se que a evidência chegue ao Conselho como série, com a política aprovada como referência e os desvios sinalizados, não como fotografia.
Há ainda a leitura dos movimentos conjuntos. Volume que cresce na faixa de execução com registro, tempo de revisão que encolhe e reversão que cai, tudo ao mesmo tempo, descreve duas histórias possíveis: um modelo que melhorou ou uma revisão que esvaziou. A resposta está na amostragem. Por isso a série é lida em conjunto, e uma variação nas três medidas sem amostragem correspondente é, em si, um motivo para o Conselho pedir a prova antes de aceitar a explicação.
Quando a Contagem Engana
Há um risco evidente em tudo isso: transformar a evidência de fila em contagem e tratar a contagem como prova de qualidade. A literatura aponta dois caminhos pelos quais ela engana.
O primeiro é a adesão seletiva. Saar Alon-Barkat e Madalina Busuioc, no Journal of Public Administration Research and Theory, periódico de referência em administração pública, testaram com experimentos, em cenários de decisão do setor público na Holanda, como as pessoas lidam com recomendações algorítmicas. Além do viés de automação, identificaram a tendência de acatar a recomendação do algoritmo quando ela confirma estereótipos. Uma taxa de reversão estável pode, portanto, esconder um padrão de revisão enviesado.
O segundo é o descrédito da própria supervisão humana. Em 2022, Ben Green analisou 41 políticas que prescrevem supervisão humana de algoritmos no setor público e concluiu que elas tendem a falhar e podem legitimar sistemas falhos, oferecendo uma falsa sensação de segurança. Sua proposta é deslocar o foco da supervisão humana para a supervisão institucional.
A evidência de fila é uma resposta nessa direção. Não pede que o Conselho confie em quem revisa; pede que veja, com dados produzidos pela própria organização, se a revisão está acontecendo nas condições previstas. A supervisão deixa de ser uma pessoa na ponta e passa a ser um fato registrado em ata, lido por quem aprovou a política.
As três medidas precisam, por isso, vir acompanhadas de amostragem periódica de casos revisados, conferidos por alguém fora da fila, com critério declarado. A contagem mostra volume. Só a amostragem mostra se a revisão é revisão.
Quem lê apenas o painel recebe conforto e nenhuma informação. A distinção só aparece quando uma amostra de casos revisados é reexaminada por alguém independente, com critério escrito, e o resultado é comparado com a decisão original. É essa conferência que dá sentido à taxa, e é por isso que ela figura na evidência de fila como parte inseparável da medida.
IV. O Mandato do Conselho Sobre a Fila
O pedido ao Conselho é de rotina, não de investigação: três números e uma amostra, por sistema e por faixa, todo trimestre, na mesma ata em que se aprovam os demais indicadores de risco.
☐ Sugere-se levar as três medidas à ata trimestral: volume roteado por faixa, tempo por decisão revisada e taxa de reversão.
☐ Recomenda-se amostrar decisões revisadas para verificação de qualidade, conferidas por alguém fora da fila, com critério declarado.
☐ Orienta-se separar a meta de produtividade da fila da meta de revisão, de modo que nenhuma delas anule a outra.
V. O Teste do Ácido
Se o Conselho perguntar amanhã quantas decisões foram revisadas no trimestre e quantas foram revertidas, a diretoria responderá com números, ou com impressões?
🏛️ Biblioteca: Metodologia Prática
Protocolo da Evidência de Fila
01. Passos para Produzir a Evidência
- Defina, por sistema, as quatro faixas e o que conta como decisão em cada uma.
- Extraia do sistema e da ferramenta de fila o volume por faixa e por período.
- Registre o tempo por decisão revisada, em média e na distribuição.
- Calcule a taxa de reversão das decisões revisadas.
- Selecione uma amostra de casos revisados e peça conferência a alguém fora da fila.
- Leve as três medidas e o resultado da amostra à ata do trimestre.
02. Quadro das Três Medidas
| Medida | O que mostra | Risco de leitura isolada |
|---|---|---|
| Volume roteado por faixa | Se a distribuição real segue o ato de linha | Mudança de modelo lida como mudança de demanda |
| Tempo por decisão revisada | Se a revisão prevista é viável | Tempo curto lido como eficiência |
| Taxa de reversão | Se há julgamento ou só confirmação | Taxa baixa lida como qualidade |
03. Glossário
Evidência de fila: conjunto mínimo de medidas, produzidas pela organização, sobre a distribuição das decisões entre faixas e o que ocorre com as que vão para revisão.
Faixa: forma de tratamento que uma classe de decisão recebe antes de produzir efeito.
Taxa de reversão: proporção das decisões revisadas cujo resultado do modelo foi alterado.
Tempo por decisão: tempo que cada caso revisado recebeu de quem revisou.
Amostragem: conferência periódica de casos revisados por alguém fora da fila, com critério declarado.
Adesão seletiva: tendência de acatar a recomendação do algoritmo quando ela confirma estereótipos, descrita por Alon-Barkat e Busuioc.
Supervisão institucional: supervisão exercida por fatos registrados e lidos por quem aprovou a política, e não por uma pessoa na ponta.
Caixa por faixa: quantidade de casos que uma faixa de revisão prevê por turno.