LongZero: modelo treina contexto longo com as próprias perguntas e sobe 2,7 pontos
Um paper da Tsinghua faz o Qwen3-4B escrever perguntas, documentos e respostas e treinar com elas. Ele supera o treino com um modelo de 397B, por pouco.
RAG
Raw-RAG: busca simples no histórico bate sistemas de memória em 6 de 7 testes
Um paper de 22 de outubro compara o Raw-RAG, uma busca simples sobre o histórico bruto, com 12 sistemas de memória de agentes. Ele ganha em 6 de 7 testes.
PageIndex: RAG sem banco de vetores indexa por cerca de US$ 0,001 por página
O PageIndex dispensa embeddings e deixa o modelo navegar uma árvore de seções. Indexar custa cerca de US$ 0,001 por página, mas a precisão depende do modelo de chat.
Como construí um RAG com três bases que roteia sem chamar um LLM sequer.
Eu mudei de uma LLM que escolhe onde pegar a informação para aritmética simples e exata. Veja como fiz isso.