Carga, división y embedding de documentos

Antes de que un LLM pueda responder a partir de sus documentos, debe cargarlos, dividirlos y generar sus embeddings. Esta lección cubre esa pipeline de ingesta, la base de todo sistema de Retrieval-Augmented Generation.

PyPDFLoader lee un PDF y devuelve una lista de objetos Document, uno por página. Cada Document tiene page_content (el texto) y metadata (la fuente y el número de página).

Las páginas completas suelen ser demasiado grandes para generar sus embeddings o para incluirlas en un prompt. La división separa el texto en fragmentos más pequeños que se pueden convertir en embeddings correctamente y permite que la recuperación devuelva solo el pasaje relevante, no una página entera.

El splitter recomendado es RecursiveCharacterTextSplitter. Intenta dividir primero por párrafos, después por oraciones y finalmente por palabras, manteniendo la coherencia semántica de los fragmentos en lugar de cortar una palabra por la mitad.

chunk_size establece el máximo de caracteres por fragmento; chunk_overlap repite parte del texto entre fragmentos contiguos para no perder contexto en los límites. Una división 1000/200 es un punto de partida habitual.

Los fragmentos pequeños permiten una recuperación precisa, pero pueden omitir el contexto circundante. Los fragmentos grandes conservan el contexto, pero diluyen la relevancia y consumen más tokens. Una superposición del 10-20 % del tamaño del fragmento es un buen valor predeterminado para conectar los límites.

Un embedding convierte el texto en un vector de números de longitud fija que captura su significado. Los textos similares producen vectores cercanos. Esto permite buscar por similitud semántica en lugar de hacerlo por palabras clave.

Cree embeddings con OpenAIEmbeddings. El modelo text-embedding-3-small es económico y eficaz. embed_query genera el embedding de una cadena; embed_documents genera los embeddings de una lista.

Genere los embeddings de todos sus fragmentos de una vez. Cada fragmento se convierte en un vector que más adelante almacenará en una base de datos vectorial para realizar búsquedas rápidas por similitud.

Los embeddings se facturan por token. Estime el total de tokens de todos los fragmentos y multiplíquelo por el precio por cada 1000 tokens. Contarlos antes de generar los embeddings evita facturas inesperadas en corpus grandes.

El flujo de ingesta es: cargar los documentos, dividirlos en fragmentos superpuestos, generar el embedding de cada fragmento para convertirlo en un vector y, en la siguiente lección, almacenarlos. Una buena división en fragmentos y el control de costes determinan la calidad y el precio de todo el sistema RAG.

Compruebe sus conocimientos sobre ingesta.

Usó PyPDFLoader para cargar documentos, RecursiveCharacterTextSplitter con chunk_size y chunk_overlap para dividirlos en fragmentos, y OpenAIEmbeddings para convertir esos fragmentos en vectores. También aprendió a estimar el coste de los embeddings por token antes de procesar un corpus grande.