Diego Mirhan
Assinar

Notícias · · 4 min de leitura

Kimi K3.1 Pro lidera os pesos abertos no novo índice, mas os pesos ainda não saíram

A Artificial Analysis põe o Kimi K3.1 Pro no topo dos pesos abertos, 12 pontos atrás do líder. Os pesos, porém, só saem em 4 de novembro, se a promessa valer.

"46" em letras enormes sobre uma onda de luz azul; pontos no índice v5

A Artificial Analysis colocou o Kimi K3.1 Pro, da Moonshot AI, em primeiro lugar entre os modelos de pesos abertos no novo Intelligence Index v5, com 46 pontos, segundo o artigo do índice. Só que os pesos ainda não foram publicados: a empresa promete liberá-los em 4 de novembro, de acordo com a VentureBeat. Para quem pensa em hospedar o modelo, a data e a licença importam mais que o ranking.

O que o índice v5 mudou

A Artificial Analysis é uma avaliadora independente que compara modelos de IA com uma bateria de testes e resume tudo numa nota única, o Intelligence Index. Na versão 5, publicada em 27 de outubro, ela trocou parte dos testes. Há dois testes novos. O FrontierCode 2.0 tem 132 tarefas em repositórios de código aberto reais, e a nota depende de um mantenedor aceitar ou não a mudança. O Terminal-Bench-Science tem 70 tarefas de pesquisa científica feitas num terminal. Os dois estão descritos no artigo da versão 5.

Segundo o mesmo artigo, 60% do índice agora vem de testes com conjuntos privados ou respostas guardadas, o que dificulta treinar o modelo para a prova. A mediana de tokens de saída por tarefa também subiu, de 35 mil na versão 4.3 para 59 mil na versão 5, porque os testes de agente pesam mais.

Kimi K3.1 Pro: o que se sabe

O Kimi K3.1 Pro é uma versão pós-treinada do Kimi K3, lançado em julho. A VentureBeat fala em 3 trilhões de parâmetros, enquanto a página do modelo na Artificial Analysis lista 2,8 trilhões. As duas fontes não batem, e a Moonshot não está entre as fontes que posso citar aqui, então registro as duas.

O preço da API é de US$ 2 por milhão de tokens de entrada e US$ 10 por milhão de saída, valores que a VentureBeat e a Artificial Analysis confirmam. A página da Artificial Analysis acrescenta janela de contexto de 1 milhão de tokens e entrada de texto e imagem.

No índice v5, o modelo marca 46 pontos. Ele tem a maior nota do Terminal-Bench 4.0, com 67%, e a maior entre os pesos abertos no CritPt, um teste de física de nível de pesquisa, com 45%, conforme o artigo da versão 5. Rodar o índice custa US$ 3,68 por tarefa, e o modelo gera 31,2 tokens por segundo, a 193ª posição entre 195, segundo a página do modelo. A mesma página diz que ele gastou 110 milhões de tokens de saída no índice, contra uma mediana de 71 milhões.

Aberto, mas ainda não

A VentureBeat escreve que a Moonshot diz que os pesos saem em 4 de novembro sob uma licença aberta, sem dar o nome nem os termos. A matéria também afirma que quem precisa hospedar o modelo agora não consegue, e que pesos finais, condições de licença e requisitos de produção continuam pendentes (VentureBeat).

A Artificial Analysis é ambígua. O artigo da versão 5 chama o modelo de melhor entre os pesos abertos, ressalvando que os pesos não foram liberados. Já a página do modelo o classifica como proprietário e diz que os pesos não estão disponíveis ao público. Até o dia 4, portanto, "aberto" é uma promessa, não um fato.

A mesma matéria da VentureBeat relata que um usuário do X publicou capturas de tela que seriam instruções de uma campanha paga de divulgação do Kimi, pedindo que criadores não usassem o selo de parceria paga. A própria matéria diz que o documento não foi autenticado de forma independente e que isso não invalida, por si só, os resultados dos testes.

A distância para os modelos fechados

O ponto que mais me interessa está no artigo da versão 5: o líder do ranking, o Claude Opus 5.5, tem 58 pontos, 12 a mais que o Kimi. Na versão 4.3 do índice essa distância entre o melhor modelo e o melhor aberto era de 3 pontos. Em testes específicos o buraco é maior: no HLE-Diamond, o Kimi acerta 37% contra 68% do Opus 5.5, e no Terminal-Bench-Science faz 34% contra 63% do GPT-6 Astra.

Os modelos com pesos já liberados estão ainda mais longe. O DeepSeek V4.1 Flash 1017 e o GLM-5.3 marcam 32 pontos, 26 abaixo do líder, conforme o mesmo artigo. O registro de mudanças da Artificial Analysis mostra ainda que o Gemini 4 Carbon entrou em 28 de outubro com 59 pontos, então o intervalo atual para o Kimi deve ser de pelo menos 13.

O que muda para quem constrói software

Preço por token baixo não é custo baixo por tarefa. A Artificial Analysis calcula que o GPT-6.1 Sol fica a 4 pontos do Opus 5.5 por cerca de um oitavo do custo: US$ 1,27 contra US$ 10,04 por tarefa (artigo da versão 5). O Kimi custa US$ 3,68 por tarefa, quase o triplo do Sol, e tem nove pontos a menos que ele, que marca 55. Pela página do modelo, a lentidão de 31 tokens por segundo também pesa em agentes interativos.

Minha leitura é que o Kimi K3.1 Pro só faz sentido para quem precisa dos pesos, por controle de dados ou para rodar na própria infraestrutura, e essa é exatamente a parte que ainda não existe. Para quem só quer o melhor resultado por tarefa, os números da Artificial Analysis apontam para modelos fechados mais baratos de rodar.

Vou olhar três coisas em 4 de novembro: se os pesos saem de fato, qual é a licença e se a Artificial Analysis troca o rótulo da página para aberto. Se a licença exigir contrato para vender acesso, como aconteceu com o Mistral Large 4, o título de melhor modelo aberto vai valer menos do que parece.

Fontes

Gostou? Receba o próximo

Um e-mail a cada post novo. Sem spam.

Próximo post LeanGuard: política em Lean barra chamadas proibidas e corta ataques de 57,9% para 5,9%