Ata gerada por IA: como medir o que ela omitiu

Uma ata com uma omissão continua sendo um documento coerente, bem escrito e convincente. Falta uma linha que ninguém sabe que deveria estar lá.

Colocar uma inteligência artificial para transformar transcrição de reunião em ata, tarefas e dados de CRM funciona bem hoje. O problema aparece depois, quando alguém pergunta se dá para confiar. A resposta padrão é "a gente leu algumas e ficaram ótimas", e essa resposta não significa nada, por um motivo que vale a pena entender antes de escalar o processo.

Ler a ata não detecta o erro que importa

O erro que mais custa numa ata automática é invisível na leitura. Se a IA registrou nove das dez decisões da reunião, o documento resultante é coerente, bem escrito e não tem nenhuma marca de que falta algo. Você só descobre semanas depois, quando a décima decisão vira um atraso, uma cobrança ou uma discussão sobre o que tinha ficado combinado.

Isso separa esse tipo de avaliação de quase tudo o que uma equipe está acostumada a revisar. Num código, a falha aparece: o teste quebra. Num relatório financeiro, a soma não fecha. Numa ata, a ausência não deixa rastro. Por isso o critério de aceitação não pode ser a leitura de quem recebe: tem que ser a comparação contra uma referência construída por alguém que estava na reunião ou leu a transcrição inteira.

Os dois documentos da ilustração têm a mesma aparência, o mesmo tamanho e a mesma qualidade de redação. Um deles perdeu um item. Nenhuma revisão por amostragem separa os dois de forma confiável, porque quem revisa não tem a lista do que deveria estar lá.

É essa assimetria que torna a medição barata em comparação com o custo do erro: o gabarito é feito uma vez e serve para sempre.

Os dois modos de falha, e por que o segundo é pior

Existem dois defeitos estruturais nesse tipo de saída, e eles pedem tratamentos diferentes.

O primeiro é a omissão: um item que existia na conversa não aparece na ata. A dependência técnica mencionada de passagem, o requisito dito uma única vez sem ênfase, o combinado que saiu no meio de outro assunto. Omissão tira informação do sistema, e o efeito é atraso.

O segundo é o erro de classificação: um item aparece, mas na categoria errada. Alguém disse "a gente poderia migrar em outubro" e isso virou uma decisão com prazo, quando era hipótese levantada e não fechada. Ou uma objeção do cliente virou requisito aprovado. Esse é o pior dos dois, e a razão é o que vem depois da ata: quando um agente executa ações em CRM, e-mail e repositório a partir desses dados, a informação errada gera ação errada, com destinatário externo.

Dez métricas que substituem "ficou boa"

A avaliação útil é recall por categoria contra um gabarito, com cada categoria contada em separado. Uma nota geral é a métrica que mais atrasa a descoberta do problema, porque ela esconde a categoria que está falhando atrás das que estão indo bem.

• Recall de decisõesDas decisões que a reunião fechou, quantas aparecem na ata.
• Recall de tarefasCada ação combinada vira um item, ou some dentro de um parágrafo.
• Recall de responsáveisTarefa sem dono não acontece. Conte separado do recall de tarefa.
• Recall de prazosInclui data relativa resolvida errado, o erro mais comum aqui.
• Recall de requisitosRequisito técnico ou comercial dito uma vez só, sem ênfase.
• Omissão relevanteItens perdidos ponderados pelo peso que o gabarito deu a cada um.
• Compromisso inventadoItem sem origem rastreável na transcrição. Tolerância zero.
• Decisão contra hipótese"Vamos fazer" e "poderíamos fazer" em categorias diferentes.
• Divergência preservadaQuando dois participantes discordaram, os dois lados aparecem.
• Fidelidade ao originalNúmero, nome e valor citados batem com o que foi dito.

Duas regras fazem esse conjunto funcionar na prática. A primeira é contar categoria por categoria, porque elas não caem juntas: recall alto de decisão convive com recall baixo de prazo, e a média esconde isso. A segunda é ponderar por relevância, marcando no gabarito o que é crítico, porque perder um item de agenda e perder uma cláusula de escopo não são o mesmo erro e não devem pesar igual.

Como montar o gabarito sem parar a operação

O gabarito é uma lista, por reunião, do que deveria estar na ata, com cada item marcado como crítico ou não. É o único ativo caro desse processo, e ele é caro uma vez só.

Vinte a trinta reuniões reais já sustentam decisões de configuração. Escolha-as cobrindo a variedade que a operação tem de verdade: alinhamento curto, reunião comercial, reunião técnica, e pelo menos uma reunião longa e difícil, com muita gente falando por cima e decisão implícita. Essa última é a que separa configurações, porque nas reuniões fáceis todas as configurações acertam e a comparação não mostra nada.

1. Selecione e congele o conjunto, porque comparar configurações em reuniões diferentes é comparar sorteios.
2. Peça a alguém que participou para listar o que a ata precisaria conter, sem olhar nenhuma saída da IA.
3. Marque cada item como crítico ou comum, e é essa marcação que transforma contagem em risco.
4. Guarde o trecho de origem de cada item, que é o que permite julgar invenção depois.
5. Fixe os limites por categoria antes de rodar, para o resultado não virar negociação depois do número aparecer.

O passo que mais se pula é o quarto. Sem o trecho de origem registrado, distinguir compromisso inventado de item que estava na conversa e o avaliador não lembrou vira discussão, e a métrica mais importante do conjunto perde confiabilidade.

O que os benchmarks públicos medem, e o que ninguém mediu

Vale ser direto: não existe benchmark público que meça taxa de omissão em ata de reunião por nível de raciocínio. Quem apresentar esse número tirou de avaliação de outra natureza.

O que existe é adjacente e útil, desde que lido com o limite de cada um.

Fontes: Vals AI e Artificial Analysis, leitura de 31/08/2026.

A conclusão prática dessa lacuna é confortável, não desconfortável: como ninguém publicou o número, ninguém tem vantagem de informação sobre você. O gabarito de vinte reuniões que a sua empresa monta em uma tarde produz, para a sua operação, um dado que não existe publicamente para ninguém.

Como comparar configurações usando o gabarito

Com o gabarito pronto, comparar configurações vira mecânica. Rode o conjunto congelado inteiro em cada configuração, com tudo idêntico exceto a variável que você está testando, e uma configuração de cada vez até o fim antes de começar a próxima.

O que você lê no fim são duas colunas juntas, nunca separadas: recall por categoria e custo por reunião. Separadas, elas produzem as duas decisões erradas clássicas, que são escolher a configuração mais barata sem ver o que ela perdeu, e escolher a mais cara sem ver que ela não ganhou nada.

Diferenças de um ou dois itens de recall, ou de centavos no custo, ficam dentro do ruído de uma rodada única. Quando duas configurações ficarem próximas, repita a rodada nas duas em vez de decidir pela diferença.

Que nível de erro é aceitável

Os limites são por categoria e não são iguais, e defini-los antes de ver os números é o que impede que eles virem justificativa do resultado obtido.

A referência que costuma fazer sentido para operação de reunião: compromisso inventado com tolerância zero, porque ele sai de casa; recall de decisão e de responsável nos itens críticos tratado como bloqueante, porque é o que sustenta a cobrança depois; recall de prazo e de requisito com margem, desde que o item apareça em algum lugar da ata mesmo sem estar na categoria certa. Erro de classificação entre decisão e hipótese merece limite próprio, porque é o que alimenta ação automática.

Esses são princípios de calibração, não números medidos: os valores da sua operação saem do gabarito, e dependem do que acontece a jusante da ata. Uma ata que só vira documento de consulta tolera mais do que uma ata que dispara tarefa e e-mail sozinha.

O que fazer com o que a medição revelar

O resultado do gabarito costuma apontar para dois movimentos, e nenhum dos dois é trocar de modelo.

O primeiro é rotear por criticidade em vez de tratar toda reunião igual. Se o recall se sustenta no nível baixo para alinhamento operacional e cai na reunião comercial longa, a resposta não é subir o nível para tudo: é subir onde a medição mostrou queda. Reunião com consequência contratual ou de arquitetura paga a diferença sozinha; reunião de status semanal não.

O segundo é auditar a fatia crítica. Uma segunda passagem que relê a transcrição procurando o que ficou de fora é a defesa direta contra o modo de falha que a leitura não pega. Vale registrar o preço honesto disso: como o auditor precisa reler a transcrição inteira para detectar ausência, e cache não é compartilhado entre modelos diferentes, pelo nosso cálculo essa auditoria custa cerca de 10% a mais do que simplesmente processar tudo uma vez no nível alto. Ou seja, auditoria não é estratégia de economia, é uma segunda leitura independente comprada por cerca de um décimo a mais. Quando omissão é o risco principal, é barato.

E existe um movimento anterior aos dois, que é instrumentar: registrar o consumo que cada resposta reporta, incluindo a separação entre raciocínio e texto. Sem esse registro, qualquer ajuste posterior vira tentativa, porque você não sabe qual parte do processo está crescendo.

Método e fontes

Apuração de 31 de agosto de 2026. As referências de benchmark vêm da Vals AI, no caso do MedScribe, do Legal Research Bench e do MortgageTax, e da Artificial Analysis, no caso da avaliação de contexto longo. O comportamento do parâmetro de raciocínio e o efeito dele sobre cache vêm da documentação da plataforma Claude.

O conjunto de dez métricas e o procedimento de gabarito são proposta nossa, montados a partir dos dois modos de falha descritos no início, e não são um padrão de mercado. O número de 10% da auditoria é cálculo nosso, com as premissas de tamanho de transcrição e de tarifa detalhadas no artigo sobre níveis de esforço.

A X-Apps não mediu taxa de omissão em laboratório próprio, e não existe medição pública dela por nível de raciocínio. Onde este texto fala de qualidade por configuração, ele está descrevendo como medir, não reportando um resultado.