> ## Content Index
> Fetch the complete content index at: https://blog.diegomirhan.com/llms.txt
> Use this file to discover other available public pages before exploring further.

# LongZero: modelo treina contexto longo com as próprias perguntas e sobe 2,7 pontos
- URL: https://blog.diegomirhan.com/longzero-contexto-longo-sem-dados-externos/
- Published: 2026-10-30T22:39:53.000Z
- Updated: 2026-10-30T22:39:53.000Z
- Description: Um paper da Tsinghua faz o Qwen3-4B escrever perguntas, documentos e respostas e treinar com elas. Ele supera o treino com um modelo de 397B, por pouco.
- Author: Diego Rodrilla Mirhan
- Tags: Inovação, Pesquisa, RAG, #pipeline

O [LongZero](https://arxiv.org/abs/2610.30132?ref=blog.diegomirhan.com) é um método de pesquisadores da Universidade Tsinghua, publicado no arXiv em 21 de outubro, que melhora o raciocínio de um modelo sobre textos longos sem usar nenhum dado externo: o próprio modelo escreve as perguntas, os documentos e as respostas, e depois treina com elas. Em dois modelos da Qwen, a média de cinco benchmarks de contexto longo subiu de 54,68 para 57,42 no menor deles. Para quem monta RAG ou agentes que leem muito texto, a ideia mostra de onde pode vir dado de treino quando não existe dado.

Neste post

1. [Qual é o problema de treinar contexto longo?](#qual-%C3%A9-o-problema-de-treinar-contexto-longo)
2. [Como o LongZero cria os dados?](#como-o-longzero-cria-os-dados)
3. [Por que só ficam as perguntas instáveis?](#por-que-s%C3%B3-ficam-as-perguntas-inst%C3%A1veis)
4. [O que os números mostram?](#o-que-os-n%C3%BAmeros-mostram)
5. [Dá para usar e quais são os limites?](#d%C3%A1-para-usar-e-quais-s%C3%A3o-os-limites)

## Qual é o problema de treinar contexto longo?

Contexto longo é a quantidade de texto que o modelo recebe de uma vez, como um conjunto de relatórios, uma conversa extensa ou um livro. Treinar o modelo a raciocinar sobre isso com aprendizado por reforço (o modelo tenta, recebe nota e ajusta) exige perguntas longas, variadas, difíceis e com resposta que um programa consiga conferir. Segundo o [paper](https://arxiv.org/abs/2610.30132?ref=blog.diegomirhan.com), anotar isso à mão é caro, e o que existe na natureza é pouco para sustentar o treino.

Os métodos atuais contornam o problema com material de fora: esticam perguntas curtas com documentos de distração, pedem a um modelo maior que escreva as perguntas ou usam textos reais. O texto real traz outro defeito, que os autores apontam: o modelo pode responder de memória em vez de ler o contexto, e o texto público pode se sobrepor ao conjunto de avaliação.

## Como o LongZero cria os dados?

A ideia central é inverter a ordem. Pedir ao modelo que escreva um documento longo e depois faça uma pergunta sobre ele herda justamente a fraqueza que se quer corrigir. Então o modelo escreve primeiro uma especificação curta em JSON, com entidades fictícias, as perguntas, os fatos que sustentam cada uma e a resposta. Só depois cada fato é espalhado por oito documentos e expandido em texto longo, conforme a [descrição do método](https://arxiv.org/html/2610.30132?ref=blog.diegomirhan.com). A resposta fica fixa antes de existir qualquer texto longo, e o único risco restante está na expansão.

![Fluxo em cinco passos, da especificação curta à seleção das perguntas que o modelo acerta só às vezes](https://blog.diegomirhan.com/content/images/2026/10/longzero-contexto-longo-sem-dados-externos-figura-1.webp)

Cada mundo tem entidades parecidas de propósito, como duas pessoas com o mesmo sobrenome, e fatos de distração que imitam os fatos reais. Um programa descarta a pergunta se a resposta não aparecer palavra por palavra no texto expandido. Como tudo é fictício, o modelo não consegue responder de memória.

O LongZero também gera tarefas de recuperação no estilo do MRCR, em que uma conversa longa pede várias vezes o mesmo tipo de texto, como um poema sobre tigres, e no fim o modelo precisa reproduzir exatamente a n-ésima resposta. Como é o programa que decide qual resposta é a n-ésima, o gabarito está certo por construção.

## Por que só ficam as perguntas instáveis?

O treino usa o GRPO, um método que compara as respostas de um mesmo grupo entre si. Uma pergunta que o modelo sempre acerta, ou sempre erra, não gera nenhum sinal de aprendizado. O LongZero então faz o próprio modelo responder cada pergunta várias vezes e guarda só as que ele acerta em algumas tentativas e erra em outras. Segundo a [tabela 1 do paper](https://arxiv.org/html/2610.30132?ref=blog.diegomirhan.com), 17,7% das perguntas geradas pelo Qwen3-4B-Thinking-2507 ficaram nessa faixa, contra 13,1% no Qwen3-8B.

Há um efeito colateral útil. Os autores notaram que perguntas que o modelo sempre erra costumavam ser defeituosas, por exemplo, com dois documentos dando valores diferentes para o mesmo atributo. O filtro de dificuldade acaba limpando parte dos erros de geração.

O conjunto de treino final tem 2.304 perguntas de raciocínio e 1.152 conversas de recuperação, uma mistura de 2 para 1, conforme o [README do repositório](https://github.com/zhennan1/LongZero?ref=blog.diegomirhan.com). O treino rodou 72 passos no modelo de 4 bilhões de parâmetros e 108 no de 8 bilhões, segundo o [paper](https://arxiv.org/html/2610.30132?ref=blog.diegomirhan.com).

## O que os números mostram?

Os autores comparam o LongZero com o modelo base e com duas bases de treino que mudam só os dados: perguntas do HotpotQA esticadas com documentos de distração, e perguntas escritas por um modelo de 397 bilhões de parâmetros, o Qwen3.5-397B-A17B, sobre textos reais. Todos usam a mesma configuração de treino. A média é de cinco benchmarks, e cada resultado é a média de duas execuções, conforme a [tabela 2](https://arxiv.org/html/2610.30132?ref=blog.diegomirhan.com).

![Barras: LongZero 57,42, HotpotQA esticado 56,57, perguntas do modelo grande 55,99 e modelo base 54,68](https://blog.diegomirhan.com/content/images/2026/10/longzero-contexto-longo-sem-dados-externos-figura-2.webp)

Fonte: [arxiv.org](https://arxiv.org/html/2610.30132?ref=blog.diegomirhan.com)

No Qwen3-4B-Thinking-2507, o LongZero sobe de 54,68 para 57,42 pontos e fica à frente das duas bases. No FRAMES, benchmark com perguntas sobre artigos reais da Wikipédia, a nota passa de 51,27 para 55,76, embora todo o treino tenha usado mundos fictícios. No Qwen3-8B o ganho é menor, de 44,63 para 45,66, e o LongZero perde para o modelo base no LongBench v2 (32,01 contra 32,11), segundo a mesma [tabela](https://arxiv.org/html/2610.30132?ref=blog.diegomirhan.com).

O resultado que mais chama atenção é que, segundo a mesma [tabela 2](https://arxiv.org/html/2610.30132?ref=blog.diegomirhan.com), as perguntas escritas pelo modelo de 397 bilhões de parâmetros renderam menos que as do próprio modelo de 4 bilhões. Os autores explicam que perguntas feitas por outro modelo não combinam necessariamente com a capacidade de quem treina, enquanto as do LongZero são filtradas para o nível atual do modelo.

A ablação, na [tabela 3](https://arxiv.org/html/2610.30132?ref=blog.diegomirhan.com), mostra que as duas famílias de dados se complementam. Só raciocínio dá média de 55,38 e só recuperação dá 53,85, abaixo do modelo base. A mistura de 2 para 1 chega a 57,42.

## Dá para usar e quais são os limites?

O [repositório](https://github.com/zhennan1/LongZero?ref=blog.diegomirhan.com) tem licença MIT e traz os scripts de síntese e de treino, as notas por item e os dados dos dois modelos no Hugging Face. O treino pede Linux, Python 3.12 e GPUs com CUDA, com PyTorch 2.9.0, vLLM 0.11.1 e a biblioteca verl. Não dá para rodar numa máquina comum. Já a geração de dados usa qualquer servidor compatível com a API da OpenAI, como o vLLM.

Os limites estão no próprio paper. Os ganhos são de 1 a 3 pontos de média, medidos em duas execuções por benchmark, então a margem é curta. No Qwen3-8B, o AA-LCR, benchmark com documentos de 72 mil a 115 mil tokens, ficou perto de zero para todos os métodos: em 120 de 200 respostas do LongZero, o modelo ficou sem tokens antes de dar uma resposta, conforme a [seção de resultados](https://arxiv.org/html/2610.30132?ref=blog.diegomirhan.com). Só foram testados dois modelos da mesma família, e os autores citam como trabalho futuro repetir o ciclo com o modelo treinado gerando de novo os próprios dados.

Minha leitura é que o valor do paper está menos no ponto percentual e mais na receita: escrever a resposta antes do texto longo, e deixar o próprio modelo medir o que ele acerta só às vezes. Isso serve de ponto de partida para quem precisa treinar ou avaliar um modelo sobre documentos que não pode compartilhar. Eu testaria primeiro a parte barata, o filtro de perguntas instáveis, num conjunto de avaliação de RAG, antes de pensar em treinar qualquer coisa.

## Fontes

- [LongZero: Enhancing Long-Context Reasoning in LLMs from Zero Data](https://arxiv.org/abs/2610.30132?ref=blog.diegomirhan.com), arXiv, 21 out. 2026
- [LongZero, versão em HTML](https://arxiv.org/html/2610.30132?ref=blog.diegomirhan.com), arXiv, 21 out. 2026
- [Repositório zhennan1/LongZero](https://github.com/zhennan1/LongZero?ref=blog.diegomirhan.com), GitHub, out. 2026