I. A Pergunta Que Vem Depois da Escassez
Os dois volumes anteriores trataram a atenção de quem revisa como um recurso finito, que a política promete sem orçar. A pergunta seguinte é de alocação: se a atenção é escassa, onde ela vale o que custa? A resposta tem duas metades, e é cômodo guardar só uma. A primeira é que revisão humana não garante, por si só, melhora do resultado, e há evidência agregada nesse sentido. A segunda é que isso não é argumento contra a revisão, e sim a favor de distribuí-la com critério.
A distinção importa porque a conversa costuma ser binária. De um lado, quem trata a pessoa na fila como remédio geral, onde houver risco. De outro, quem conclui que a pessoa atrapalha e propõe retirá-la. As duas posições dispensam a pergunta de alocação, que é a única que a diretoria consegue responder com dados da própria casa.
Revisão sistemática com metanálise de 106 experimentos, extraídos de 74 artigos publicados entre 01/01/2020 e 30/06/2023, com 370 tamanhos de efeito. Em média, as combinações de pessoa e IA tiveram desempenho significativamente pior do que o melhor entre pessoa e IA isoladas (g de Hedges = −0,23; intervalo de confiança de 95% de −0,39 a −0,07).
Nas tarefas de decisão, o efeito foi de −0,27; nas de criação de conteúdo, de 0,19, sem significância isolada. Quando a pessoa sozinha superava a IA sozinha, a combinação ganhava (g = 0,46); quando a IA superava a pessoa, a combinação perdia (g = −0,54). A heterogeneidade entre estudos é muito alta (I² = 97,7%).
[Ponto de Inflexão Fiduciária]: Quando a organização afirma que uma saída de IA “tem revisão humana”, ela sabe dizer se, naquela classe de decisão, a pessoa acrescenta algo ao resultado ou apenas o confirma?
II. O Que a Metanálise Diz, e o Que Não Diz
O resultado central tem duas faces. Comparada ao melhor dos dois isolados, a combinação ficou um pouco pior, em efeito pequeno cujo intervalo não inclui zero. Comparada à pessoa sozinha, ficou melhor. Pôr a IA ao lado da pessoa ajuda; pôr a pessoa ao lado de uma IA que já é melhor do que ela, nem sempre. As perdas se concentraram nas tarefas de decisão, que são o tipo de tarefa que uma fila de revisão costuma conter.
A leitura pede cuidados, e o primeiro é de escala. Uma média de estudos muito diferentes não é veredito sobre o sistema de uma organização específica, e a heterogeneidade registrada indica que há situações em que a revisão ajuda muito e outras em que atrapalha. O que a média informa é que a presunção “mais pessoa, melhor resultado” não se sustenta como regra.
O segundo é de data. Os estudos são experimentos, e a revisão cobre trabalhos até junho de 2023, antes da maior parte do uso corporativo de modelos de linguagem. Entre as fontes públicas que consultamos até 16/10/2026, não localizamos metanálise posterior que atualize o quadro, o que não significa que não exista.
O terceiro é de mecanismo. O artigo mede desempenho, e não explica por que a combinação perde quando a IA é melhor. Complacência, viés de automação e simples repetição do que o sistema indicou são explicações plausíveis, mas não são achados dele; os moderadores que os autores testaram, como explicações e exibição da confiança do modelo, não alteraram o resultado de modo significativo.
O quarto é de finalidade. A medida é de qualidade média do resultado, e não de risco nem de dever. Uma revisão que não melhora a média pode existir por razões de responsabilidade, de direito de contestação ou de confiança pública. A evidência informa sobre a qualidade; não decide sozinha o que a organização deve às pessoas afetadas, e é por isso que o piso de revisão a pedido, tratado na Série 8, não entra neste cálculo.
[Ponto de Inflexão Fiduciária]: Se a revisão de uma classe de decisões fosse retirada amanhã, a organização saberia medir o que mudaria no resultado, ou apenas o que mudaria no custo?
III. O Erro Simétrico: Abandonar o Sistema ao Primeiro Erro
A pergunta tem outro lado, que a literatura de psicologia registra há uma década. Berkeley Dietvorst, Joseph Simmons e Cade Massey publicaram em 2015, no Journal of Experimental Psychology: General, cinco estudos sobre o que acontece quando pessoas veem um algoritmo errar. Quem viu o modelo errar passou a escolhê-lo menos, mesmo quando ele era mais preciso do que a própria pessoa, e perdeu confiança nele mais depressa do que perdia em outra pessoa que cometesse o mesmo erro.
São estudos de laboratório, com tarefas de previsão, e não tratam de revisar saídas de IA generativa. O que deles se aproveita é uma advertência de desenho: a confiança é frágil depois do primeiro erro visível, e uma organização que não previu esse momento tende a reagir exigindo revisão integral, o que aumenta a fila sem aumentar a atenção disponível.
O mecanismo é simétrico ao da complacência. Confiar demais faz a pessoa aprovar sem examinar; confiar de menos faz a organização examinar tudo e, portanto, nada com a profundidade devida. Em ambos os casos a atenção foi distribuída por reação, e não por desenho. O estudo não mede organizações nem filas, e a lição se limita a isto: sem regra escrita sobre onde a revisão entra, a reação ao primeiro erro visível decide a alocação.
Convém notar que os dois erros podem coexistir na mesma organização. A classe em que o sistema acerta quase sempre tende a ser aprovada por rotina, e a classe em que errou na semana passada tende a ser examinada em excesso. Uma fila pode, ao mesmo tempo, gastar atenção onde ela rende pouco e faltar onde rende muito, sem que nenhum indicador de média acuse o desvio.
Os dois erros em direções opostas têm a mesma raiz. Em nenhum deles alguém escreveu, antes do erro, em quais classes de decisão a pessoa melhora o resultado e em quais apenas o acompanha. Sem essa escrita, a primeira falha visível redistribui a atenção de uma só vez, e quem paga é a classe de decisão que menos tinha a ganhar com o exame.
[Ponto de Inflexão Fiduciária]: Quando o sistema errou pela última vez em produção, quem decidiu se a revisão aumentaria, diminuiria ou ficaria como estava, e com base em que medida?
IV. Onde a Atenção Rende: a Pergunta do Acréscimo
Se a atenção é escassa e repeti-la sem critério não resolve, o caminho é distribuí-la. A Série 8 deu o critério na peça de classificação: duas perguntas, se o erro se desfaz e até onde ele vaza, que cruzadas indicam quatro faixas de roteamento. Sugerimos que a mesma classificação distribua a atenção, e a evidência acrescenta uma razão para fazê-lo.
- Delibera. É a faixa em que a atenção de quem responde pela classe vale o que custa, porque o erro é irreversível e se espalha. A pergunta deixa de ser de capacidade de fila e passa a ser de colegiado.
- Revisa antes de produzir efeito. Justifica o maior tempo por decisão, uma pessoa com poder de reverter e registro do que foi examinado. É onde a revisão item a item tem melhor defesa.
- Executa com amostragem e revisão posterior. A atenção entra depois, de forma periódica, e conferida por quem está fora da fila. O que se examina é o comportamento do sistema ao longo do tempo.
- Executa com registro. A revisão item a item rende pouco, e a pessoa que apenas confirma o que o sistema fez gasta atenção que faria falta em outro lugar. Esta leitura é nossa: a metanálise não testou faixas de reversibilidade, e a sugestão vale como hipótese a verificar com os dados da própria organização.
Em qualquer faixa, a pergunta de partida é a mesma, e propomos chamá-la de acréscimo da revisão: o que a pessoa que revisa traz que o sistema não tem. Pode ser contexto que o sistema desconhece, autoridade para reverter, conhecimento do caso concreto ou responsabilidade perante quem foi afetado. Quando a resposta é “nada”, a revisão é custo de atenção sem retorno e deveria ser reclassificada ou justificada por outra razão, como o dever perante o afetado.
Como saber se a pessoa acrescenta? A taxa de reversão, uma das medidas de fila da Série 8, é o primeiro indício. Taxa alta mostra que a pessoa muda o resultado. Taxa muito baixa admite duas leituras opostas: o sistema acerta quase sempre naquela classe, ou a pessoa aprova sem examinar. Contagem não distingue as duas. O que distingue é o exame conferido por quem está fora da fila, como o caso plantado tratado na Série 7, e é por isso que a taxa sozinha não fecha o juízo.
Quem escreve o acréscimo importa tanto quanto o texto. Sugerimos que o dono do processo o redija com quem revisa, porque a pessoa na fila sabe o que traz e o que apenas repete, e que um cargo nomeado o assine. Um acréscimo redigido apenas pelo fornecedor do sistema ou apenas pela área de tecnologia tende a descrever o que o sistema já faz, e o texto perde a função de contraste.
A pergunta também protege contra o erro simétrico. Quem escreveu o acréscimo de cada classe sabe o que o primeiro erro visível deveria mudar, e o que não deveria, porque a escrita antecede a reação. É um documento curto, assinado, que a diretoria atualiza quando o modelo muda ou quando a medição o contradiz.
☐ Sugere-se pedir à diretoria, para cada classe de decisão que passa por revisão, uma linha escrita com o acréscimo da revisão e a faixa de roteamento correspondente.
☐ Recomenda-se registrar, para as classes em que o acréscimo for “nada”, se a revisão permanece por dever perante o afetado ou se será reclassificada.
☐ Orienta-se definir quem pode aumentar ou reduzir a revisão após um erro visível do sistema, com a medição que antecede a decisão e a data de revisão.
V. O Teste do Ácido
Se o sistema cometer amanhã um erro visível numa classe de decisão que hoje segue sem exame, a organização terá escrito qual é o acréscimo da revisão naquela classe e quem decide mudá-la, ou o Conselho vai descobrir que a revisão foi redistribuída pela reação do dia?
🏛️ Biblioteca: Metodologia Prática
Protocolo do Acréscimo da Revisão
01. Passos para Escrever o Acréscimo de uma Classe de Decisão
- Escolha uma classe de decisão que passa por revisão e registre a faixa de roteamento em que a Série 8 a colocaria.
- Escreva em uma frase o que a pessoa que revisa traz que o sistema não tem: contexto, autoridade, conhecimento do caso ou responsabilidade perante o afetado.
- Procure, no registro da fila, a taxa de reversão da classe nos últimos noventa dias e anote se a pessoa mudou o resultado com frequência.
- Quando a frase do passo 2 ficar em branco ou a taxa for muito baixa, decida por escrito se a revisão permanece por dever perante o afetado ou se a classe será reclassificada.
- Leve as classes sem acréscimo declarado à ata do trimestre, com a data em que serão revistas.
02. Quadro da Alocação da Atenção
| Vetor | Indicador | Ação |
|---|---|---|
| Acréscimo | Classes de decisão com o acréscimo da revisão escrito e assinado | Escrever o acréscimo das classes em branco antes da próxima troca de modelo |
| Alocação | Atenção disponível por faixa de roteamento, comparada ao volume da faixa | Reclassificar ou justificar as classes que consomem atenção sem mudar o resultado |
| Reação ao erro | Mudanças de revisão feitas após erro visível, com autor, data e medição prévia | Exigir cargo nomeado e medição antes de qualquer aumento ou redução da revisão |
03. Glossário
Metanálise: estudo que reúne os resultados de vários estudos sobre a mesma pergunta e os combina em uma estimativa agregada.
Tamanho de efeito (g de Hedges): medida padronizada da diferença entre dois grupos; valores negativos indicam desempenho pior da combinação em relação à referência.
Heterogeneidade: variação dos resultados entre os estudos reunidos, que indica que a média esconde situações muito diferentes entre si.
Aversão a algoritmo: tendência de preferir o julgamento humano a um modelo depois de vê-lo errar, mesmo quando o modelo é mais preciso.
Complacência: tendência de aprovar sem examinar quando a maioria dos itens parece normal.
Faixa de roteamento: tratamento que uma classe de decisões recebe antes de produzir efeito, definido na Série 8: executa com registro, executa com amostragem e revisão posterior, revisa antes de produzir efeito, delibera.
Acréscimo da revisão: aquilo que a pessoa que revisa traz e o sistema não tem, como contexto, autoridade, conhecimento do caso ou responsabilidade perante o afetado.
Teto de atenção da supervisão humana: número máximo de decisões que uma função de revisão examina com atenção em uma janela de tempo declarada, depois de descontada a reserva para o pico.