Índice do artigofaltam 7 min de leitura
A mesma prova, o mesmo desempenho, quatro números diferentes: percentil 90, 69, 48 e 15. O que mudou foi contra quem a comparação foi feita.
Todo fornecedor de inteligência artificial chega na reunião com um número. E a reação natural do comprador é pedir um número do concorrente para comparar, o que quase sempre piora a decisão, porque duas réguas diferentes não comparam nada.
Vale desarmar de saída a saída óbvia: "então eu peço uma prova de conceito". Pedir uma prova de conceito que o fornecedor monta, com casos que o fornecedor escolhe, é exatamente o mesmo problema numa embalagem mais cara. A questão não é ter um teste, é quem controla as três coisas que decidem o resultado dele.
Este artigo usa o caso mais bem documentado que existe, o do exame da ordem americano, e as evidências apresentadas por Joel Niklaus na conferência de IA e Raciocínio Jurídico da Universidade de St. Gallen, em agosto de 2026, para transformar isso em perguntas que cabem numa reunião.
Resumo do artigo
- O mesmo desempenho virou percentil 90 ou 48 dependendo do grupo de comparação. Nenhum dos dois é falso.
- Num quadro com 139 modelos, os dez primeiros couberam em 2,25 pontos. O ranking geral parou de separar quem serve de quem não serve.
- Trocar sorteio aleatório por corte no tempo derrubou a acurácia de um previsor de 0,77 para 0,58, e 65% do acerto saía só do nome do juiz.
- Três controles decidem se um número vale: quem obteve o produto, quem financiou o teste e quem controla o protocolo.
A mesma prova, quatro números
Em março de 2023, a OpenAI publicou que o GPT-4 ficava perto do percentil 90 no exame da ordem americano. O número rodou o mundo e virou argumento de venda de dezenas de produtos jurídicos.
Em 2024, o pesquisador Eric Martínez refez a conta e publicou o resultado na revista Artificial Intelligence and Law. O desempenho bruto do modelo não mudou. O que ele mostrou foi que a conversão original estava ancorada nas provas de fevereiro, que concentram quem está repetindo o exame e tende a pontuar abaixo do conjunto.
Fonte: Eric Martínez, "Re-evaluating GPT-4's bar exam performance", Artificial Intelligence and Law 33(3), 2025.
Repare no último degrau, que é o mais relevante para trabalho profissional. Nas partes escritas, que são as que se parecem com o que um advogado entrega, contra quem passou no exame, o resultado cai para o percentil 15.
A distância entre "quase melhor que todo mundo" e "pior que a maioria dos aprovados" foi produzida inteiramente pela escolha do grupo de comparação.
O que isso destrava numa reunião: a pergunta útil não é qual foi o número. É contra quem, e em qual parte da prova. Quase nenhum material comercial responde as duas sem ser perguntado.
O ranking geral parou de separar os modelos
Existe um segundo problema, mais novo, e ele afeta quem tenta se proteger comparando rankings públicos. Num quadro público de desempenho jurídico atualizado em 19 de agosto de 2026, com 139 modelos avaliados, os dez primeiros couberam dentro de 2,25 pontos do score agregado, todos agrupados perto do topo.
Isso não torna o quadro inútil, torna o agregado inútil para decidir. As leituras públicas do mesmo quadro mostram os melhores modelos indo muito bem em identificar a questão e concluir, e visivelmente pior em análise retórica. Um comprador cuja tarefa é do segundo tipo toma a decisão errada olhando o número do primeiro.
A tradução prática: se todo fornecedor mostra um número parecido, o número parou de ser o critério. O critério volta a ser o que ele faz na sua tarefa, com os seus documentos.
Benchmark fácil esconde o problema, difícil mostra
O contraste que fecha o argumento anterior apareceu quando alguém construiu uma régua dura de propósito. Um benchmark publicado em 2026 usou mais de 1.250 tarefas vindas de casos reais de clientes, em 24 áreas de prática, com mais de 75.000 critérios escritos por especialistas, e adotou um corte implacável: errar um critério obrigatório zera a tarefa.
À esquerda, quadro público de 139 modelos em agosto de 2026. À direita, benchmark de agentes jurídicos, teste rodado pelo fornecedor em maio de 2026.
Os dois números descrevem modelos da mesma geração. A diferença inteira está no que cada régua exige: responder bem uma questão isolada, ou entregar um trabalho completo sem falhar em nenhuma exigência.
E aqui entra uma disciplina que quase ninguém aplica: número de benchmark tem validade. Os 7,1% são de maio de 2026 e já foram superados nas leituras públicas seguintes do mesmo benchmark, que citam resultados na casa de 11% a 14% em julho e agosto. Quem cita esse número sem a data está citando uma fotografia como se fosse um estado permanente.
A régua que aprova e a régua que reprova a mesma coisa
O caso mais didático de régua enganosa não vem de vendedor, vem de pesquisa acadêmica, e por isso é o mais confiável para aprender o mecanismo.
Modelos que previam decisões judiciais europeias exibiam acurácia alta o bastante para virar produto. Um estudo posterior mostrou que boa parte daquele acerto vinha de um atalho que o próprio teste premiava sem perceber.
Um modelo alimentado apenas com o sobrenome dos juízes, sem nenhum fato e sem nenhum texto legal, acertava 65% das decisões. Os autores registram que o nome do julgador provavelmente funciona como atalho para seção, época, distribuição e perfil de casos.
O sistema tinha aprendido a reconhecer quem julga, não a raciocinar sobre o caso. E nenhuma métrica agregada da época conseguia notar a diferença, porque as duas coisas produzem a mesma pontuação.
O mesmo trabalho mostrou o outro lado da moeda: quando o teste passou a respeitar a ordem do tempo, treinando com o passado para prever o futuro, a acurácia despencou. Esse número e o que ele significa para jurimetria estão em O que a IA já faz no trabalho jurídico (e o que ela ainda erra).
A pergunta que isso gera para qualquer avaliação, dentro ou fora do jurídico, é sempre a mesma: existe um atalho que produz a pontuação certa pelo motivo errado? Se existir, ele será encontrado, porque o sistema otimiza pelo que é medido.
Os três controles que decidem se um número vale
Testes independentes de consumo, do tipo que avalia carro e eletrodoméstico, resolveram esse problema há décadas. A IA jurídica não consegue copiar o modelo inteiro, porque licenciamento costuma impedir a compra anônima do produto. Mas consegue copiar as três garantias que sustentam o método.
- AcessoQuem obteve o produto avaliado. Se a amostra foi separada pelo fornecedor, ela não representa o que você vai receber.
- FinanciamentoQuem pagou pelo teste. Patrocinar é aceitável e precisa ser público; determinar a nota, não.
- ProtocoloQuem escolhe as tarefas, quantas vezes cada uma roda, como se pontua e o que é publicado.
- PublicaçãoQuem decide o que aparece. O avaliado não pode escolher quais falhas ficam de fora do relatório.
Os quatro se resumem a uma pergunta única que cabe em qualquer reunião: o avaliado teve algum controle sobre o que foi medido, quantas vezes, e sobre o que foi divulgado?
Se a resposta for sim em qualquer um dos pontos, o número é material de marketing, o que não o torna falso, apenas insuficiente para decidir.
Como montar o seu teste sem virar um projeto de pesquisa
A boa notícia é que o teste que decide a sua compra é bem menor que um benchmark acadêmico, porque ele só precisa cobrir a sua tarefa.
- Junte tarefas reais que já foram resolvidas, algumas dezenas, com a resposta que a sua operação considerou correta na época.
- Congele o conjunto e guarde separado. Conjunto que muda entre as rodadas transforma comparação em sorteio.
- Escreva os critérios de aprovação por tarefa, item a item, antes de rodar qualquer coisa. Critério escrito depois vira justificativa.
- Rode cada configuração mais de uma vez. O experimento de arcabouço citado nesta série usou três tentativas por candidato, e a variação entre rodadas é real.
- Leia pontuação e custo por tarefa juntos, nunca separados, porque a configuração mais cara nem sempre é a que mais acerta.
O passo 3 é o que mais gente pula e o que mais protege. Critérios escritos antes transformam uma discussão de impressão em uma contagem, e é a contagem que você vai poder repetir daqui a seis meses, quando o fornecedor lançar a próxima versão.
Vale dizer que essa medição avalia o sistema inteiro, não o modelo. É a leitura correta, porque o desempenho pertence ao conjunto, como mostra Por que o mesmo modelo de IA acerta 80% num lugar e 3% em outro.
O que a avaliação de IA ainda não tem, e a medicina já tem
Existe uma lacuna estrutural que ajuda a calibrar a expectativa de quem compra. A medicina tem um padrão de reporte para estudos clínicos com inteligência artificial desde 2020, publicado na Nature Medicine, que define o que todo estudo precisa informar para ser comparável. Segundo o levantamento apresentado em St. Gallen, a avaliação de IA jurídica ainda não tem um equivalente registrado na mesma rede de padrões.
| O que falta | Efeito prático em quem compra |
|---|---|
| Padrão de reporte | Dois estudos sobre a mesma ferramenta não são comparáveis, porque cada um informa coisas diferentes. |
| Reteste periódico | Número de lançamento continua circulando anos depois, sobre versões que não existem mais. |
| Taxonomia de erro | Score agregado sem análise de que tipo de erro acontece, que é o que decide se o erro é tolerável. |
| Gabarito anotado | Construir referência confiável é caro: um conjunto conhecido da área consumiu 10.000 horas de advogado. |
Enquanto isso não existir, a régua confiável para a sua decisão é a que você construir. É trabalho, e é menos trabalho do que trocar de fornecedor no ano seguinte.
Perguntas para a próxima reunião com fornecedor
- Contra qual grupo esse número foi comparado, e em qual parte da tarefa
- Quem escolheu os casos avaliados, quem rodou o teste e quem decidiu o que publicar
- Qual a data do resultado e qual versão exata do sistema foi medida
- O teste respeitou a ordem do tempo, ou misturou passado e futuro
- Vocês rodam esse mesmo teste nos meus documentos, com critérios que eu escrevo
A última pergunta é a que separa fornecedor de parceiro. Quem trabalha com medição responde sim de imediato, porque já tem o processo. Quem vende número hesita, e a hesitação é a informação.
Fontes e método
A base deste artigo é a palestra "Fifty Years of Legal AI", de Dr. Joel Niklaus, apresentada na AI & Legal Reasoning Conference da Universidade de St. Gallen em 28 de agosto de 2026, e as fontes que ela credita: o GPT-4 Technical Report da OpenAI, de março de 2023; a recomputação de Eric Martínez publicada em Artificial Intelligence and Law 33(3), 2025; o estudo de Medvedeva, Vols e Wieling em Artificial Intelligence and Law 28, 2020; o quadro público de desempenho jurídico da Vals AI na leitura de 19 de agosto de 2026; o benchmark de agentes jurídicos da Harvey, de maio de 2026; e o padrão CONSORT-AI publicado na Nature Medicine 26, em 2020.
A recomputação do exame da ordem, os resultados do benchmark de agentes e a compressão do quadro público foram conferidos em fontes independentes na apuração de 1º de setembro de 2026. Todos os números são de terceiros e nenhum é medição da X-Apps. OpenAI, Harvey e Vals AI são empresas externas à X-Apps, citadas como objeto de análise e sem relação comercial conosco.
Vai contratar IA e quer uma régua sua?
Solicite um orçamento e monte o conjunto de teste com as suas tarefas antes de decidir.
Perguntas frequentes
Raramente. Costuma ser uma escolha de régua favorável e declarada em nota de rodapé. O mesmo desempenho do GPT-4 no exame da ordem foi apresentado como percentil 90 e recomputado para percentil 48 quando a comparação passou a ser contra quem foi aprovado.
Cada vez menos. Num quadro público com 139 modelos atualizado em agosto de 2026, os dez primeiros couberam dentro de 2,25 pontos do score agregado. Nessa faixa, a ordem do ranking diz menos que a diferença por tipo de tarefa.
É treinar com o passado e testar no futuro, que é como a ferramenta será usada. Num estudo de previsão de decisões judiciais, a acurácia média caiu de 0,77 para 0,58 só por trocar o sorteio aleatório por esse corte.
Quem obteve o produto, quem financiou o teste e quem controla o protocolo. O avaliado não pode escolher a amostra avaliada, não pode determinar a nota e não pode decidir quais falhas são publicadas.
Pegue algumas dezenas de tarefas reais da sua operação com resposta já conhecida, congele esse conjunto, escreva os critérios de aprovação por tarefa e rode cada configuração mais de uma vez. Só assim você compara configuração em vez de sorteio.
Porque o resultado pertence ao sistema inteiro, não ao modelo. O código em volta, as ferramentas disponíveis e o formato de entrega mudam a pontuação de forma comparável à troca de modelo, e quase nenhum material comercial informa qual configuração foi medida.
