Gestión de datos parciales y ausentes

Los documentos del mundo real rara vez contienen todos los campos que espera su esquema. A una factura puede faltarle un número de pedido, un currículo puede omitir fechas y un artículo de noticias puede no mencionar ninguna ubicación. Diseñar el esquema de extracción para gestionar correctamente los datos parciales y ausentes es tan importante como extraer los datos presentes.

Marque como Optional[type] los campos que podrían no aparecer en todos los documentos y asígneles un valor predeterminado None. Pydantic v2 trata estos campos como anulables y se indica al modelo que no invente valores cuando falte información. Prefiera siempre None a una cadena vacía para los datos ausentes, ya que resulta más fácil filtrarlos posteriormente.

Pida al modelo que valore su propia confianza en cada campo extraído añadiendo una puntuación de confianza junto al valor. Envuelva ambos en un helper genérico FieldExtract. Las extracciones con baja confianza pueden enviarse a revisores humanos en lugar de pasarse directamente a los sistemas posteriores, lo que reduce el riesgo de que los datos incorrectos pasen inadvertidos.

A veces, la ausencia de datos tiene un significado propio. Use el Optional de Python junto con una enumeración Literal para distinguir entre no mencionado, indicado explícitamente como ninguno y desconocido. Esta distinción en tres sentidos evita que el código posterior trate una ausencia indicada explícitamente igual que una mención inexistente, lo que puede provocar errores sutiles en la lógica de negocio.

Cuando una llamada de extracción principal devuelve demasiados campos None, pruebe con un prompt de seguimiento específico centrado exclusivamente en la información ausente. Envíe solo el párrafo pertinente junto con el modelo extraído parcialmente y pida al modelo que rellene únicamente los campos vacíos. Este enfoque en dos pasadas mejora notablemente la cobertura en documentos ambiguos.

Para los campos que tengan un valor predeterminado razonable cuando falten, use default o default_factory de Pydantic. Por ejemplo, una lista de etiquetas debería tener como valor predeterminado una lista vacía en lugar de None, de modo que el código posterior siempre pueda iterar sobre ella. Reserve None para los campos cuya ausencia deba marcarse y gestionarse explícitamente.

Construya una cola de revisión para las extracciones cuya confianza esté por debajo de un umbral. Almacene los resultados de baja confianza en una tabla independiente de la base de datos con un indicador needs_review, muéstrelos en una interfaz interna de revisión y permita que los anotadores humanos los corrijan. Incorpore las correcciones como ejemplos few-shot para mejorar las extracciones futuras.

Algunos campos pueden extraerse de varias formas válidas a partir del mismo texto. Por ejemplo, una fecha escrita como «el próximo lunes» es ambigua sin una fecha de referencia. Use un campo raw_span para capturar el texto exacto utilizado por el modelo junto con el valor normalizado. Así conservará la evidencia original y facilitará mucho la depuración de las extracciones.

Realice un seguimiento de los campos que aparecen como None con mayor frecuencia en su conjunto de documentos. Una alta tasa de ausencia en un campo obligatorio puede indicar que el campo realmente no aparece en la mayoría de los documentos o que la descripción del esquema está confundiendo al modelo. Registrar los patrones de ausencia por tipo de documento le ayuda a priorizar las mejoras del esquema que tendrán mayor impacto en la calidad de los datos.

Para documentos complejos, como informes anuales o contratos extensos, lo más eficaz es una estrategia de extracción en varias pasadas. En la primera pasada, extraiga los campos de alta confianza que siempre están presentes. En las pasadas siguientes, céntrese en secciones o párrafos específicos para extraer los campos más difíciles. Combine todas las pasadas en un único registro final y permita que las pasadas posteriores sobrescriban los valores None anteriores.

Los esquemas bien diseñados reducen de forma natural los datos ausentes. Use descripciones de campo concretas y específicas para que el modelo sepa exactamente qué debe buscar. Evite combinar dos conceptos en un mismo campo. Añada examples en la descripción del campo para orientar la extracción. Un esquema que facilite el trabajo del modelo tendrá muchos menos campos ausentes que uno basado en etiquetas vagas.

Compruebe su comprensión de la gestión de datos parciales y ausentes en los procesos de extracción.

En esta lección ha aprendido que los campos opcionales con valores predeterminados None evitan que se inventen datos ausentes; que las puntuaciones de confianza y las colas de revisión crean una red de seguridad para las extracciones inciertas; y que la extracción en varias pasadas mejora la cobertura en documentos complejos al centrarse en secciones específicas en cada pasada. A continuación, ampliaremos la extracción mediante procesamiento asíncrono y colas.