Buscar antes de responder

Os dois capítulos anteriores deixaram um problema montado. O capítulo 3 mostrou que o modelo completa com o que é plausível quando não tem o fato. O capítulo 8 mostrou que despejar todos os documentos na janela piora a resposta. Sobra a pergunta: como entregar só o pedaço certo, na hora em que ele é necessário?

De onde o modelo tira o que sabe?

De dois lugares, e vale nunca confundir um com o outro.

Qual das duas colunas você gostaria que respondesse a uma pergunta sobre o protocolo da sua rede?

E se ele pudesse consultar antes de responder?

É essa a ideia que ficou conhecida pela sigla RAG (retrieval-augmented generation, geração aumentada por recuperação), nome que vem de um artigo acadêmico. Tirando o nome, são quatro passos:

1. Cortar os documentos em trechos.
2. Representar cada trecho como um vetor — o embedding do capítulo 3 —, de modo que trechos de assunto parecido fiquem próximos.
3. Buscar, a cada pergunta, os trechos mais próximos dela.
4. Responder com esses trechos dentro da janela, pedindo que o modelo diga de qual deles tirou cada afirmação.

O modelo continua sendo o mesmo. O que muda é que, antes de ele completar o texto, alguém foi à estante.

A busca do experimento é propositalmente simples: conta palavras em comum. Os sistemas de verdade comparam significado, não palavras. Mas o que você decidiu ali — quantos trechos entram, o que fazer quando nenhum serve — são decisões humanas em qualquer versão.

Onde isso quebra?

Em vez de uma lista de defeitos, perguntas para fazer a qualquer sistema desse tipo — inclusive ao que você vai montar:

• O corte passou no lugar errado? Uma regra e a sua exceção, em trechos diferentes, viram duas “verdades”.
• A pergunta usa as palavras do documento? Quem pergunta diz “sumiu da escola”; o protocolo diz “infrequência”.
• Qual versão está na base? Um documento revogado, se estiver lá, será citado com a mesma confiança.
• E quando não há resposta? O sistema sabe dizer “não encontrei”?
• Quem pode ver o quê? Se a base tem documentos restritos, a busca precisa respeitar a permissão de quem pergunta.

Repare que só a primeira pergunta é técnica. As outras são sobre a organização: quem cuida dos documentos, quem decide qual vale, quem pode ler.

E quando a resposta não está em documento nenhum?

Às vezes o que falta não é um texto, é um dado ou uma ação: quantas faltas uma estudante tem hoje, qual é o endereço de uma escola, abrir um chamado. Para isso existem as ferramentas: o modelo escreve o pedido (“consulte a frequência do código E-027”), o sistema executa de verdade e devolve o resultado para a janela.

A lógica é a mesma da busca — trazer para o contexto o que o modelo não tem —, com uma diferença importante: uma ferramenta pode fazer coisas. As perguntas sobre isso ficam para o capítulo 15.

Preciso mesmo disso?

Talvez não, e essa é uma pergunta honesta para fazer antes de montar qualquer coisa. Se o documento é curto e cabe folgado na janela, cole o documento. Se a dúvida é sempre a mesma, escreva a resposta uma vez. Eu costumo dizer que antes dessas técnicas vem o básico: escolher o modelo, pedir bem, dar contexto. Muita gente monta a estante antes de saber que pergunta quer responder.

Um caminho, em cinco perguntas

1. Qual é a fonte da verdade? Um documento, uma planilha, uma pessoa?
2. Quem a mantém em dia — e como a base fica sabendo quando ela muda?
3. Como eu vou saber de onde veio cada resposta?
4. O que o sistema faz quando não acha?
5. Quem não pode ver o quê?

Se você consegue responder às cinco, a parte técnica é a menor. Se não consegue, nenhuma técnica resolve.