Por que a divisão ingênua prejudica a recuperação

Segmentação é o processo de dividir documentos em partes menores antes de incorporá-los a um armazenamento vetorial. A forma como você segmenta determina qual contexto estará disponível durante a recuperação. Uma segmentação inadequada é uma das causas mais comuns e impactantes de falhas em sistemas RAG.

Imagine um documento que diga: 'A política de reembolso é de 30 dias a partir da compra. Os clientes devem incluir o recibo original.' Se um divisor de tamanho fixo cortar o texto depois de 'compra.', essas duas frases ficarão em trechos diferentes. Uma consulta sobre a política de reembolso poderá recuperar apenas a primeira metade — impedindo o modelo de mencionar a exigência do recibo.

Os documentos costumam usar cabeçalhos de seção para fornecer significado. Considere uma tabela intitulada 'Preços dos planos empresariais', seguida por linhas de números. Se o cabeçalho e a tabela ficarem em trechos diferentes, o trecho recuperado da tabela conterá números sem identificação — e o modelo não conseguirá responder corretamente a 'Qual é o preço empresarial?'.

A segmentação de tamanho fixo divide o texto a cada N caracteres ou tokens, independentemente dos limites das frases. Ela é rápida e simples, mas frequentemente interrompe as frases no meio. Um trecho que termina com 'The model was trained on' e o trecho seguinte, que começa com 'a dataset of 500 billion tokens', não têm sentido isoladamente.

Uma correção comum é adicionar sobreposição entre trechos — repetindo os últimos N tokens de um trecho no início do próximo. Isso ajuda com frases divididas, mas introduz redundância e pode confundir os recuperadores quando dois trechos muito semelhantes são recuperados. A sobreposição é um paliativo, não uma solução para problemas estruturais de segmentação.

Você pode medir com que frequência sua segmentação prejudica a recuperação criando um pequeno conjunto de avaliação de referência: uma lista de perguntas com passagens de origem corretas conhecidas. Depois, verifique com que frequência a passagem correta está entre os k principais trechos recuperados. Uma hit rate baixa geralmente revela problemas de segmentação antes mesmo de você analisar a qualidade da geração.

Arquivos de código, JSON e tabelas têm unidades lógicas — funções, objetos e linhas de tabela — que não devem ser divididas. Dividir a definição de uma função Python entre dois trechos significa que nenhum deles será compreensível de forma independente. Um recuperador que encontre o segundo trecho verá um código sem argumentos e sem contexto.

Pesquisas sobre LLMs mostram o fenômeno de 'perda no meio': quando muitos trechos são recuperados e inseridos em um prompt, o modelo presta atenção ao conteúdo próximo do início e do fim, mas tende a ignorar o meio. Uma segmentação inadequada, que produz muitos trechos pequenos e de baixa qualidade, piora isso ao diluir o sinal relevante.

Um diagnóstico rápido é imprimir uma amostra aleatória dos seus trechos e lê-los. Pergunte a si mesmo: Este trecho é significativo isoladamente? Se um usuário fizesse uma pergunta, o modelo conseguiria respondê-la apenas com base neste trecho? Trechos que fazem referência a pronomes sem antecedente ('Ele disse que...'), código incompleto ou números sem contexto são sinais de alerta.

Trechos muito grandes prejudicam a precisão da recuperação. Um trecho de 2.000 tokens sobre um tema amplo pode corresponder a muitas consultas, mas fornecer ruído demais ao LLM. O modelo precisa encontrar uma agulha no palheiro dentro desse trecho. Trechos menores e focados melhoram a precisão, mas podem deixar de incluir o contexto ao redor.

Alternativas melhores à segmentação ingênua de tamanho fixo incluem: divisão nos limites das frases, que nunca corta uma frase no meio; segmentação semântica, que divide o texto nos limites entre tópicos; segmentação pai-filho, que preserva um contexto mais amplo; e divisão consciente da estrutura do documento, que respeita funções de código, tags HTML e cabeçalhos Markdown. Cada lição a seguir aborda uma dessas estratégias.

Nesta lição, você aprendeu que: a segmentação ingênua de tamanho fixo rompe os limites de frases e seções, a sobreposição é uma solução parcial, mas acrescenta redundância e a qualidade dos trechos determina diretamente a hit rate da recuperação. A seguir, exploraremos a segmentação semântica, que divide o texto nos limites naturais entre tópicos usando a similaridade das incorporações.