Como ler um ranking de inteligência artificial sem cair em marketing

Passo a passo

1. Descubra o que o ranking mede

   Cada ranking responde a uma pergunta diferente.

   • LMArena: pessoas comparam duas respostas anônimas e votam na que preferem. Os votos viram uma pontuação no estilo Elo, um sistema emprestado do xadrez que estima a força relativa a partir de duelos repetidos (Sider AI). A pontuação mede qual resposta os usuários preferem naquele contexto. Ela não mede a capacidade geral do modelo.
   • SWE-bench: mede se o modelo resolve problemas reais de software sob um protocolo definido (count.co).
   • GPQA: reúne questões difíceis de biologia, física e química em nível de pós-graduação (count.co).

   O Elo não é porcentagem de acertos. Também não mede se uma resposta é factualmente correta.

2. Compare só dentro da mesma categoria

   A LMArena tem rankings separados: texto, texto longo, software e TI, busca, WebDev. São tarefas diferentes, com usuários e pedidos diferentes. Não junte essas listas em um ranking único.

   Num agregador datado de 13 de novembro de 2026, o líder da categoria de busca é um modelo diferente do líder de software e TI (busca, software). Um resultado em WebDev ou em busca não prova que o modelo escreve melhor ou resolve mais matemática.

3. Olhe a margem de erro antes da posição

   Diferenças pequenas podem ser só ruído. No ranking de texto longo do mesmo agregador, o Claude Opus 5.5 aparece com 1528 e margem de erro de ±8,5 (llmbenchmark.ai). No WebDev, o Gemini 4 Carbon tem 1768 e o GPT-6 Astra tem 1764 (llmbenchmark.ai).

   Quando a distância entre dois modelos cabe dentro da margem de erro, trate os dois como empatados. Confira também o número de votos.

4. Confira a data e a fonte

   Rankings mudam rápido, e as fontes nem sempre concordam. Uma página da própria LMArena exibida em buscas indicava atualização em dezembro de 2025. Ao mesmo tempo, agregadores secundários mostravam outros modelos na frente em 13 de novembro de 2026 (aimap.page).

   Antes de repetir uma posição, abra a página oficial do ranking e veja a data. Um agregador ajuda a ter uma ideia, mas não substitui a fonte primária.

5. Identifique a versão exata e as condições

   Um mesmo nome pode esconder versões diferentes. Verifique quatro coisas: a versão do modelo, se o modo de raciocínio estava ligado, o nível de computação e as ferramentas disponíveis.

   No SWE-bench, isso pesa ainda mais. O resultado depende do harness, o "carro" em volta do modelo: ferramentas, acesso aos arquivos e permissão para rodar testes.

6. Desconfie de números perto do teto

   Quando quase todos os modelos tiram notas muito altas, o teste deixa de separar bem um modelo do outro. Uma página de 13 de novembro de 2026 classifica o GPQA Diamond como "saturado" (benchleader).

   Outra página atribui 96,3% ao GPT-6 Astra nesse teste, sem model card ou fonte oficial (count.co). Perto de 100%, uma diferença pequena pode vir de ruído, da seleção das questões ou do protocolo usado.

7. Teste na sua própria tarefa

   Use o ranking como ponto de partida, não como veredito (Sider AI). Escolha um pedido real do seu dia, como um e-mail, uma planilha ou um trecho de código. Rode o mesmo pedido em pelo menos dois modelos e anote a data e a versão de cada um.

   Compare também o custo e a privacidade na página oficial de cada fornecedor.

Por que um ranking de inteligência artificial pode enganar?

Porque cada ranking mede uma tarefa estreita, e a manchete costuma vender o resultado como se valesse para tudo.

Na LMArena, o gosto humano varia conforme a cultura, o tipo de pedido e até o dia. Modelos que participam de mais duelos ganham mais visibilidade (Sider AI). Pesquisadores descreveram o chamado "bench-maxing": publicar versões ajustadas só para se destacar nos pedidos da Arena. Uma investigação de maio de 2025 alegou viés a favor de modelos proprietários, e a plataforma nega qualquer preferência intencional.

Um artigo secundário de 6 de novembro de 2026 resume outras críticas (aidaddy.tech). Segundo ele, um provedor pode testar muitas variantes e publicar só a melhor. Essas alegações ainda precisam de confirmação na fonte original.

A LMArena também tem pontos fortes. Ela usa julgamento humano real e se atualiza em poucas horas, enquanto testes tradicionais levam semanas.

O que é contaminação de dados e por que ela importa?

Contaminação acontece quando o modelo já "viu" o teste. Pode ser o texto da questão, a solução ou exemplos quase idênticos no treinamento. Pode ser também acesso à questão por busca ou ferramentas. Outra forma é o ajuste do modelo especificamente para aquele teste.

Uma nota alta, sozinha, não prova contaminação e também não a descarta. No SWE-bench Verified, um conjunto de 500 problemas reais de repositórios do GitHub, uma fonte secundária fala em melhor resultado de 79,2% e em última entrada no quadro oficial em fevereiro de 2026 (count.co). A mesma fonte cita uma auditoria da OpenAI que teria apontado problemas de tarefas e contaminação. A publicação primária não está disponível, então trate isso como não verificado.

Muda conforme o modelo: o que os rankings mostram hoje?

Dados de um agregador secundário datados de 13 de novembro de 2026, verificado em nov/2026. Não são o ranking oficial.

O que muda entre eles. Os modelos do Gemini aparecem na frente em software e WebDev. O Qwen3.8 Max aparece à frente do GPT-5.6 Sol em busca, por apenas dois pontos. O Claude Opus 5.5 fica perto do topo em texto longo e em software. Nenhum lidera todas as categorias.

Sobre modelos abertos: o Qwen3.8 Max aparece em páginas sobre modelos de pesos abertos, mas não confirmamos a licença nem se é possível rodá-lo no seu computador.

Os preços que aparecem nessas páginas não dizem se são assinatura ou API. Confira sempre a página oficial de preços em US$ de cada empresa. Os preços de API por milhão de tokens mudam com frequência: veja a comparação de preços de API.

Os rankings menores ou mais rápidos são confiáveis?

Às vezes, sim. Um preprint no arXiv testou formas de escolher só parte das questões de testes como o GPQA, avaliando 66 modelos de linguagem (arXiv). Os autores relatam que a ordem dos modelos ficou bem consistente na maioria das configurações. As divergências maiores apareceram em alguns limites de corte e em testes como o GPQA.

A lição prática é simples. A ordem de um ranking depende de quais questões entram nele, e mudar o conjunto pode mudar a posição.

Erros comuns

• Juntar categorias diferentes da LMArena (busca, WebDev, texto) em um ranking único.
• Tratar a pontuação Elo como porcentagem de acertos ou como prova de que o modelo acerta fatos.
• Ignorar a margem de erro e chamar de vitória uma diferença de poucos pontos.
• Repetir a posição de um agregador sem conferir a página oficial e a data.
• Concluir que um modelo é melhor em programação em geral só por uma nota alta no SWE-bench.
• Usar preços que aparecem em páginas de ranking para decidir uma compra, sem abrir a página oficial de preços.