Reformulação de consultas e HyDE

A qualidade da recuperação é limitada pela consulta. As consultas brutas dos usuários costumam ser curtas, ambíguas, cheias de pronomes ou formuladas de maneira diferente dos documentos. A transformação da consulta reformula a consulta antes da recuperação para aumentar a cobertura e a precisão.

Essa é uma das melhorias mais baratas e de maior impacto sobre a RAG ingênua: corrija a consulta e todas as etapas posteriores se beneficiarão.

A transformação mais simples: um LLM reescreve a consulta do usuário em uma forma mais clara, autocontida e adequada à recuperação. Ele corrige erros de digitação, expande abreviações e remove o ruído conversacional.

Isso é especialmente importante em conversas com várias rodadas, nas quais a mensagem mais recente é ininteligível sem contexto (E quanto à segunda?).

Na RAG de conversas, condense o diálogo e a nova fala em uma única pergunta autônoma. Sem isso, pronomes e elipses tornam a representação vetorial sem sentido e a recuperação entra em colapso.

Envie as falas anteriores para que o reescritor possa transformar referências como isso, aquilo e o anterior em entidades explícitas que o recuperador consiga encontrar.

A expansão gera sinônimos, termos relacionados ou formulações alternativas para ampliar a cobertura lexical e semântica. Ela combate a incompatibilidade de vocabulário: o documento diz “invalidar”, enquanto o usuário diz “revogar”.

Expanda para a recuperação e depois recupere usando a união; não mostre a forma expandida ao usuário. Tenha cuidado com a expansão excessiva, que pode trazer resultados fora do tópico.

Gere várias reformulações diversificadas, recupere resultados para cada uma e combine as listas de resultados (fusão recíproca de posições). Formulações diferentes revelam trechos relevantes diferentes; a fusão combina seus pontos fortes e estabiliza a cobertura.

Isso troca chamadas adicionais de recuperação por mais robustez contra uma única formulação inadequada.

Perguntas complexas de múltiplas etapas precisam de decomposição em subperguntas, cada uma recuperada separadamente e depois combinada. Perguntar qual CEO da empresa que adquiriu X é mais velho que... não pode ser respondido por uma única recuperação.

Decomponha, recupere por subpergunta e permita que o gerador combine as evidências reunidas.

HyDE (Representações vetoriais de documentos hipotéticos, Gao et al., 2022) inverte o problema. Em vez de representar vetorialmente a consulta curta, ele solicita ao LLM que gere um documento de resposta hipotético, depois representa vetorialmente esse documento e faz a recuperação usando-o.

O documento hipotético está no mesmo registro que os documentos reais, portanto sua representação vetorial fica mais próxima das respostas genuínas, corrigindo a incompatibilidade entre consulta e documento.

Uma pergunta e sua resposta são formuladas de maneiras diferentes; uma pergunta e uma resposta falsa, mas plausível, são formuladas de modo semelhante à resposta real. HyDE aproveita o conhecimento generativo prévio do LLM para superar essa diferença, mesmo que o documento hipotético contenha erros factuais.

A correção do documento hipotético não é muito importante: ele só precisa ter o vocabulário e a estrutura certos para ficar próximo dos documentos verdadeiros no espaço das representações vetoriais.

O HyDE adiciona uma geração por LLM antes da recuperação, aumentando a latência e o custo, e pode alucinar um documento hipotético que se desvie do tópico, prejudicando a cobertura de consultas de nicho ou fora da distribuição que o modelo desconhece por completo.

Atenue esse problema combinando a recuperação pelo vetor HyDE com a recuperação pela consulta bruta por meio de fusão, para que uma hipótese ruim não consiga comprometer totalmente a cobertura.

Essas transformações são complementares. Use condensação para conversas, expansão/múltiplas consultas para lacunas de vocabulário, decomposição para perguntas de múltiplas etapas e HyDE para incompatibilidades de registro entre pergunta e documento. Muitos sistemas de produção encadeiam a condensação, depois o HyDE, em seguida combinam os resultados com a consulta bruta e, por fim, reclassificam.

Cada transformação adicionada custa uma chamada ao LLM; portanto, selecione-as de acordo com o tipo de consulta em vez de executar todas sempre.

Meça cada transformação pelo ganho em revocação@k na recuperação e na acurácia da resposta final em comparação com a consulta bruta, usando um conjunto sem vazamento. Acompanhe a latência adicionada e o custo de LLM para manter apenas as transformações que compensam seu custo.

Cuidado: uma transformação que melhora a revocação, mas adiciona distratores, pode reduzir a acurácia da resposta, a menos que seja combinada com reordenação e compressão.

Reflita sobre por que HyDE funciona apesar das hipóteses imperfeitas.

Principais conclusões:

• A recuperação é limitada pela consulta; transformá-la é uma melhoria barata e de alto impacto para RAG.
• A reescrita e a condensação tornam as consultas de conversa autônomas; a expansão e as múltiplas consultas corrigem lacunas de vocabulário.
• A decomposição lida com perguntas que exigem várias etapas, realizando a recuperação por subpergunta.
• HyDE incorpora uma resposta hipotética para superar a incompatibilidade de registro entre pergunta e documento; não é necessário que a hipótese esteja correta.
• Combine transformações conforme o tipo de consulta, faça a fusão com a consulta bruta para obter robustez e avalie a revocação, a acurácia da resposta, a latência e o custo.