Fragmentación y generación de embeddings de documentos

Un PDF extenso puede contener muchos temas a la vez. Para recuperar información con precisión, primero debe dividirlo en piezas más pequeñas llamadas chunks.

Un buen chunk contiene una idea coherente: uno o dos párrafos. Si es demasiado grande, oculta la respuesta; si es demasiado pequeño, pierde el contexto circundante.

El método más sencillo corta el texto cada cierto número fijo de caracteres o tokens. Es rápido, pero puede partir una oración por la mitad.

Para evitar separar una idea, haga que los chunks compartan una superposición. Repetir las últimas líneas mantiene la continuidad del contexto entre los límites.

Los divisores más inteligentes separan primero por párrafos o encabezados. Respetar la estructura mantiene cada chunk centrado en un único tema claro.

La búsqueda necesita números, no palabras. Un embedding convierte cada chunk en un vector denso que captura su significado.

Los embeddings colocan cerca los textos similares. Dos chunks sobre la misma idea quedan próximos en el espacio vectorial.

Se pasa el texto a un modelo de embeddings y se obtiene una lista de valores float. El mismo modelo debe codificar tanto los chunks como las consultas.

Ejecute cada chunk mediante el modelo para crear su vector. Una sola llamada puede codificar toda la lista a la vez para ganar velocidad.

Cada vector tiene una longitud fija: su dimensión. Un modelo pequeño puede generar 384 números; los más grandes generan 768 o más.

Mantenga cada vector vinculado a su texto original y a su fuente. Después recuperará mediante el vector, pero mostrará el chunk legible para las personas.

Divide los documentos en chunks, opcionalmente superpuestos, y después incorpora cada uno a un vector. Almacene juntos el texto y el vector para la recuperación. ✅