Diego Mirhan
Assinar

Notícias · · 4 min de leitura

Anthropic diz que o GLM-5.3, modelo aberto, monta exploits quase como o Mythos, sem travas

A Anthropic e o NIST testaram o GLM-5.3, modelo aberto da Z.ai, e acharam capacidade ofensiva alta e travas fáceis de remover. O que fazer com isso.

"Exploit pronto, sem trava." sobre foto de tela de terminal com um exploit que escapou do sandbox; selo: 50 de 410
Tela do relatório da Anthropic: um exploit escapa do ambiente isolado e lê uma chave privada do sistema. Imagem: Anthropic

A Anthropic publicou na terça-feira (29/09) uma análise do GLM-5.3, o modelo aberto da chinesa Z.ai, e concluiu que ele constrói sozinho programas de ataque quase tão bem quanto o Claude Mythos Preview, mas sem as travas de segurança, segundo o relatório da equipe de segurança da empresa. Como os pesos do GLM-5.3 estão abertos, qualquer pessoa pode baixá-lo, e isso muda o cálculo de quem roda modelo local.

O que a Anthropic encontrou no GLM-5.3

Nos testes da Anthropic, o GLM-5.3 montou exploits completos (programas que se aproveitam de uma falha de segurança) em 50 de 410 tentativas no ExploitBench, um teste com falhas conhecidas do V8, o motor de JavaScript do Chrome. O Claude Mythos Preview, modelo da própria Anthropic que o relatório usa como referência, acertou 56. No teste interno de exploração de binários, o GLM-5.3 sequestrou o fluxo de execução do programa em 4% das tarefas, contra 6% do Mythos Preview. Tudo isso está no relatório da Anthropic.

A versão menor, o GLM-5.3-Flash, montou um ataque funcional contra uma falha já conhecida do Chrome por US$ 20,40 nos preços da API, segundo a mesma análise. Em comparação, o GLM-5.2 e o Claude Opus 4.6 ficavam perto de zero nessas tarefas, de acordo com o relatório. O salto aconteceu em uma geração.

O que o NIST mediu

O relatório da Anthropic não é a única avaliação. O CAISI, centro de padrões de IA do instituto americano NIST, publicou em 17 de setembro que o GLM-5.3 é "o modelo aberto mais capaz em segurança ofensiva já lançado". O mesmo texto diz que ele ainda fica cerca de quatro meses atrás dos melhores modelos americanos.

Os números do NIST mostram essa distância. No SEC-Bench Pro, o GLM-5.3 fez 40,4%, contra 90,2% dos modelos de ponta dos EUA. No ExploitGym, 9,4% contra 44,4%, e no OSS-Fuzz, 7,7% contra 23,2%, tudo na página do CAISI. O ExploitBench aparece lá com 61,1% para o GLM-5.3, número bem diferente dos 50 de 410 da Anthropic. É que o NIST mede outra coisa: o progresso médio numa escada de 16 passos, que termina com o código rodando, e não só os exploits completos. Por isso os dois números não se comparam. O que as duas fontes dizem em comum é a direção: é o modelo aberto mais forte nesse tipo de tarefa, e ainda está atrás dos fechados.

Quatro gráficos do NIST: o GLM-5.3 fica abaixo do melhor modelo americano em todos os testes de ataque
Os quatro testes do CAISI: o GLM-5.3, em verde, fica bem atrás do melhor modelo americano, em azul, e perto do melhor de três meses atrás em três dos quatro. Imagem: NIST

Como se tira a trava de um modelo aberto

O ponto que mais pesa no relatório da Anthropic é a segurança do modelo. Com uma história falsa no pedido, 64% das tentativas fizeram o GLM-5.3 colaborar. Preenchendo antes o raciocínio do modelo, 92%. Editando os pesos, 100%. Os modelos Claude testados nas mesmas condições ficaram em 0%, segundo a Anthropic.

Gráfico de barras: história falsa 64, raciocínio preenchido 92 e pesos editados 100, em porcentagem
Como a Anthropic burlou as travas do GLM-5.3 (% de colaboração). Fonte: anthropic.com

A edição de pesos tem nome: abliteração, que é mexer nos números do modelo para ele deixar de recusar pedidos. A Anthropic diz que gastou cerca de 2.200 horas de GPU, ou US$ 4.400, para derrubar a taxa de recusa de 95% para 6%, e que a versão editada manteve quase o mesmo desempenho em conhecimento geral. O relatório também afirma que versões sem trava do GLM-5.3 apareceram publicamente poucos dias depois do lançamento.

É a diferença prática entre modelo aberto e modelo fechado. Num modelo fechado, a trava mora no servidor da empresa. Num modelo aberto, ela mora nos pesos que você baixou, e quem baixa pode editar.

O que muda para quem constrói software

Há dois efeitos, e eles apontam para lados opostos.

O primeiro é de defesa. Quem mantém código, principalmente de código aberto, deve assumir que achar e explorar falhas conhecidas ficou mais barato. A própria Z.ai, no anúncio coberto pelo The Register, afirma que o modelo achou 2.436 vulnerabilidades em 269 projetos, algumas com cerca de 40 anos. Se isso é verdade, a janela entre a divulgação de uma falha e o ataque tende a diminuir, e atualizar dependência deixa de ser tarefa para o mês que vem.

O segundo é de política. Eu escrevi dois dias atrás que os modelos abertos estavam chegando perto dos fechados em preço e desempenho. A mesma proximidade vale para o lado ruim, e esse relatório dá o primeiro caso concreto. Quem defende modelo local, como eu, precisa aceitar que "aberto" também quer dizer "sem controle de quem usa".

O que ainda não se sabe

A Anthropic faz análises dos modelos dos concorrentes e vende modelos fechados, então tem interesse na conclusão. O texto dela admite limites: os testes rodaram em ambiente isolado, em geral, em menos de um dia com pouca atenção humana, e só um subconjunto dos testes foi usado. A página que li não traz resposta da Z.ai.

Também não está claro se as versões sem trava foram usadas num ataque real. O relatório diz que é provável que atores estatais e não estatais tentem usar modelos assim, mas isso é uma previsão, não um caso confirmado.

Minha leitura é que o debate vai deixar de ser "aberto contra fechado" e passar a ser "com ou sem avaliação antes do lançamento". Aposto que, em um ano, os grandes laboratórios abertos publicarão testes de segurança ofensiva junto com os testes de desempenho, porque o NIST e a Anthropic já mostraram que eles podem ser feitos por fora, e mais rápido que o lançamento.

Fontes

Gostou? Receba o próximo

Um e-mail a cada post novo. Sem spam.

Próximo post GPT-6.1 Sol chega perto do Astra por um quinto do preço, segundo a OpenAI