Dividindo e gerando embeddings de documentos

Um PDF longo reúne muitos tópicos ao mesmo tempo. Para recuperar informações com precisão, primeiro divida-o em partes menores chamadas segmentos.

Um bom segmento apresenta uma ideia coerente: um ou dois parágrafos. Se for grande demais, a resposta ficará escondida; se for pequeno demais, perderá o contexto ao redor.

O método mais simples corta o texto a cada número fixo de caracteres ou tokens. É rápido, mas pode cortar uma frase ao meio.

Para evitar separar uma ideia, permita que os segmentos tenham uma sobreposição. Repetir as últimas linhas mantém o contexto fluindo entre os limites.

Divisores mais inteligentes separam primeiro por parágrafos ou títulos. Respeitar a estrutura mantém cada segmento concentrado em um único tópico claro.

A pesquisa precisa de números, não de palavras. Uma incorporação transforma cada segmento em um vetor denso que captura seu significado.

As incorporações posicionam textos semelhantes próximos uns dos outros. Dois segmentos sobre a mesma ideia ficam próximos no espaço vetorial.

Você passa o texto para um modelo de incorporação e recebe uma lista de números de ponto flutuante. O mesmo modelo deve codificar tanto os segmentos quanto as consultas.

Execute cada segmento no modelo para criar seu vetor. Uma única chamada pode encode a lista inteira de uma vez, com mais rapidez.

Cada vetor tem um comprimento fixo, sua dimensão. Um modelo pequeno pode fornecer 384 números; modelos maiores fornecem 768 ou mais.

Mantenha cada vetor associado ao seu texto original e à sua fonte. Mais tarde, você recuperará pelo vetor, mas exibirá o segmento legível por humanos.

Você divide os documentos em segmentos, opcionalmente sobrepostos, e depois transforma cada um em um vetor. Armazene o texto e o vetor juntos para a recuperação. ✅