O benchmark mentiu para você (e para o lab também)
Enterprise agentic AI systems show a 37% gap between lab benchmark scores and real-world deployment performance, with 50x cost variation for similar accuracy. Essa frase resume o problema que todo time de produto enfrenta agora:
Seu agente de IA passou em todos os testes. Rodou perfeito no Jupyter. Mas em produção, com dados reais? Desastre.
Por que benchmarks não medem o que importa
AI benchmarks dominate how artificial intelligence models are compared, funded, and deployed, but the gap between benchmark scores and production performance has never been wider.
O problema é estrutural: benchmarks são datasets estáticos. Agentic AI é dinâmico por natureza.
- No benchmark: o agente recebe um workflow conhecido, com 500 variações do mesmo padrão. Acerta 85%.
- Na produção: chega um payload que o modelo nunca viu. A task depende de 3 ferramentas encadeadas. Uma API cai. O agente pira.
Terminal-Bench vs realidade: onde o abismo começa
De acordo com dados de independentes, On OSWorld, which tests agents on computer tasks across operating systems, accuracy rose from roughly 12% to 66.3%, within 6 percentage points of human performance.
OSWorld é mais realista que MMLU ou GPQA Diamond porque simula cliques, janelas, navegação real. Mas ainda é controlado.
O que OSWorld não mede:
- Falhas de rede intermitentes
- Edge cases específicas do seu domínio
- Degradação sob carga
- Hallucinations em contextos novos
O custo real: 50x variação no mesmo accuracy
A métrica mais assustadora no gap: 50x cost variation for similar accuracy.
Dois agentes com 78% de accuracy. Um custa $0.02 por task, o outro $1.00. Por quê?
- Retry logic (agente A precisa de 3 tentativas, agente B de 1)
- Token waste (reasoning desnecessário antes de falhar)
- Cascata de erros (um erro cedo = burn 100 tokens extras)
- Chamadas a ferramentas redundantes
Como fechar o 37% (parcialmente)
Teste em dados sujos. Pegue 10% dos seus dados reais, meça accuracy. Não confie em "synthetic" datasets.
Simulate failure. Derrube APIs. Mande bad JSON. Force timeout. Seu agente pira?
Rastreie custo por categoria de task. Alguns workflows queimam 10x mais tokens que outros. Não é bug, é design ruim.
Use Terminal-Bench internamente. Não é perfeito, mas testa orchestration (seu ponto fraco). Código em: artificialanalysis.ai.
Benchmark saturação: Frontier models gained 30 percentage points in a single year on Humanity's Last Exam, a benchmark built to be hard for AI and favorable to human experts. Evaluations intended to be challenging for years are saturated in months, compressing the window in which benchmarks remain useful for tracking progress.
Os labs estão lutando contra saturação. Criaram Humanity's Last Exam como "hard benchmark". Fronteira modelo subiu 30 pontos em 12 meses. Agora está próximo de sat também.
Resultado: não há mais benchmark que diferencia os modelos.
The performance of the top 15 models is separated by as little as 3 percentage points in each benchmark.
Isto significa: escolha entre Claude Opus 5 e GPT-5.6 Sol não é matéria de benchmark. É matéria de:
- Latency no seu workflow
- Consistência no seu domínio
- Custo real observado
- Behavior under edge cases
A métrica que importa (e que ninguém publica)
Esqueça ranking de labs. Rastreie em produção:
- Success rate real (% de tasks que completam sem retry)
- Cost per success (divida custo total por tasks bem-sucedidas, não tentativas)
- Degradation profile (accuracy cai quanto com payload 10x maior?)
- Error taxonomy (quais tipos de erro costumam acontecer? Hallucination? Forgot context? Tool misuse?)
Estas métricas não aparecem em nenhum paper.
Leitura complementar: Stanford AIIndex 2026 rastreia OSWorld e traz a realidade. Artificial Analysis publica Terminal-Bench v2.1, que é o mais próximo de produção que você vai achar num benchmark público. Use os dois, desconfie dos números, teste na sua task real.