Construcción integral de un sistema de preguntas y respuestas RAG

Retrieval-Augmented Generation fundamenta un LLM en sus propios datos. En el momento de la consulta, recupera fragmentos relevantes de un almacén vectorial y los inserta en el prompt, de modo que el modelo responde basándose en hechos en lugar de adivinar.

Cada consulta RAG sigue cuatro pasos: (1) generar el embedding de la pregunta, (2) recuperar fragmentos similares, (3) incluirlos en el prompt como contexto y (4) el LLM genera una respuesta fundamentada en ese contexto.

Convierta su almacén vectorial en un recuperador con as_retriever. El diccionario search_kwargs controla la recuperación, especialmente k, el número de fragmentos que se obtienen por pregunta.

search_kwargs también puede establecer un umbral de puntuación o las opciones de MMR. Empiece con k=4; auméntelo si a las respuestas les falta contexto y redúzcalo para disminuir el coste de tokens y el ruido.

La cadena RetrievalQA conecta la recuperación y la generación. Créela con from_chain_type, pasando su llm y su retriever. Ahora una sola llamada responde a preguntas sobre sus documentos.

chain_type controla cómo se incorporan los fragmentos recuperados al prompt. "stuff" (opción predeterminada) coloca todos los fragmentos en un único prompt: es sencillo y la mejor opción cuando caben en la ventana de contexto. Otros tipos, como "map_reduce", gestionan muchos fragmentos grandes.

Ejecute la cadena con invoke, pasando su pregunta bajo la clave query. La cadena recupera los fragmentos, crea el prompt y devuelve la respuesta fundamentada.

Establezca return_source_documents=True para obtener los fragmentos utilizados en la respuesta. Esto permite incluir citas y que los usuarios verifiquen de dónde procede cada hecho, algo fundamental para generar confianza.

RAG puede fallar de dos formas: la recuperación obtiene fragmentos incorrectos o la generación produce alucinaciones a pesar de contar con buenos fragmentos. Necesita métricas para saber qué parte debe corregir. Revisar las respuestas manualmente no es escalable.

RAGAS es una biblioteca que puntúa la calidad de RAG. Sus métricas principales son: faithfulness (la respuesta está respaldada por el contexto), answer_relevancy (la respuesta aborda la pregunta) y context_precision (los fragmentos recuperados son relevantes).

Construya un conjunto de datos con preguntas, respuestas generadas, contextos recuperados y respuestas de referencia, y después llame a evaluate. Las puntuaciones le indican si debe mejorar la división en fragmentos, el valor de k de la recuperación o el prompt.

Compruebe sus conocimientos sobre RAG.

Creó una pipeline RAG completa: db.as_retriever con search_kwargs, una cadena RetrievalQA.from_chain_type sobre su llm y su recuperador, y return_source_documents=True para incluir citas. También aprendió a medir la calidad con métricas de RAGAS, como faithfulness y context precision.