Recuperação pai-filho e do pequeno para o grande

Os sistemas RAG enfrentam uma tensão: trechos pequenos são recuperados com alta precisão porque cada trecho se concentra em uma ideia, mas não têm o contexto ao redor de que o LLM precisa para gerar uma resposta completa. Trechos grandes fornecem um contexto rico, mas reduzem a precisão da recuperação porque correspondem fracamente a muitas consultas, em vez de corresponder fortemente a uma só. A segmentação pai-filho resolve esse dilema.

Na segmentação pai-filho, você cria duas camadas de trechos a partir do mesmo documento. Trechos filhos são pequenos (por exemplo, de 1 a 3 frases) e são incorporados e indexados para recuperação. Trechos pai são seções maiores (por exemplo, parágrafos ou páginas inteiros) armazenadas separadamente. Quando um filho é recuperado, você retorna o pai ao LLM.

O primeiro passo é dividir o documento em trechos pai grandes e, depois, dividir cada pai em trechos filho menores. Cada trecho filho mantém uma referência — normalmente um campo de metadados parent_id — que aponta de volta para seu pai. Esse mapeamento permite localizar a passagem pai completa a partir de qualquer filho recuperado.

Apenas os trechos filho são incorporados e armazenados no banco de dados vetorial. Os trechos pai são armazenados em um armazenamento separado de chave-valor (um dicionário na memória, Redis ou um banco de dados de documentos). Assim, o índice vetorial permanece denso e preciso, enquanto o contexto rico fica fora dele.

Durante a recuperação, a consulta do usuário é incorporada e comparada com os trechos filho. Os k principais trechos filho são encontrados, e suas referências parent_id são resolvidas consultando o armazenamento dos pais. As passagens pai — não os filhos — são então inseridas no prompt do LLM. O LLM recebe um contexto amplo; a recuperação foi precisa.

O LangChain fornece a classe ParentDocumentRetriever, que implementa esse padrão imediatamente. O senhor fornece um separador pai, um separador filho, um armazenamento vetorial para as incorporações filhas e um armazenamento de documentos para os documentos pais. Ele configura a hierarquia e gerencia a recuperação de forma transparente.

A recuperação do pequeno para o grande é outro nome para o mesmo conceito: o senhor recupera partes pequenas e precisas, mas depois as expande para o contexto ao redor antes de enviá-las ao LLM. Algumas implementações expandem o conteúdo não para um pai fixo, mas para uma janela de frases adjacentes — fornecendo ao modelo as frases anteriores e posteriores à parte correspondente para manter a continuidade contextual.

Várias partes filhas do mesmo pai podem ser recuperadas para uma única consulta. Sem a eliminação de duplicatas, a mesma passagem pai apareceria várias vezes no prompt, desperdiçando tokens. Sempre elimine duplicatas pelo ID do pai antes de montar o contexto. O exemplo de código na função de recuperação acima faz isso com um conjunto seen_parent_ids.

A recuperação pai-filha funciona melhor quando os documentos têm uma estrutura hierárquica clara: capítulos com seções, artigos com parágrafos ou wikis com subseções. Ela é especialmente eficaz para documentação técnica extensa, na qual perguntas precisas exigem respostas localizadas, mas essas respostas só fazem sentido dentro de uma seção mais ampla de contexto.

Uma configuração típica é: partes filhas de 200 a 400 tokens (ideias únicas e focadas) e partes pais de 1.000 a 2.000 tokens (seções completas). Se as partes filhas forem pequenas demais, elas se tornarão frases individuais que não têm significado por si mesmas. Se as partes pais forem grandes demais, o senhor começará a reintroduzir o problema de diluição do contexto que estava tentando evitar.

Resumindo as estratégias de divisão apresentadas até agora: tamanho fixo é rápido, mas rompe o contexto; a divisão semântica preserva a coerência do tópico; a abordagem pai-filha otimiza tanto a precisão da recuperação quanto a riqueza do contexto do LLM. Para a maioria dos sistemas RAG em produção que lidam com documentos extensos, a divisão pai-filha oferece a melhor qualidade de recuperação com uma complexidade administrável.

Nesta lição, o senhor aprendeu que: as partes filhas proporcionam uma recuperação precisa, enquanto as partes pais fornecem um contexto rico, o ParentDocumentRetriever do LangChain implementa isso automaticamente e a eliminação de duplicatas pelo ID do pai evita a repetição do contexto. Em seguida, exploraremos estratégias de divisão específicas para documentos de código e documentos HTML.