Marcos de ética y gobernanza de la IA

Los modelos capaces conllevan riesgos reales: discriminación, daños a la privacidad, desinformación y fallos de seguridad. La gobernanza de la IA es el conjunto de políticas, procesos y documentación que mantiene los sistemas de IA dentro de la legalidad, justos y sujetos a rendición de cuentas durante todo su ciclo de vida.

El Reglamento de IA de la UE es una normativa pionera que clasifica los sistemas de IA según su riesgo e impone obligaciones proporcionales a dicho riesgo. Utiliza una pirámide de riesgo de cuatro niveles.

En la parte superior, los sistemas de riesgo inaceptable están prohibidos por completo. Entre los ejemplos se incluyen la puntuación social gubernamental y los sistemas manipuladores que explotan vulnerabilidades. No pueden implementarse, independientemente de las medidas de protección.

Los sistemas de alto riesgo (dispositivos médicos, contratación, evaluación crediticia e infraestructuras críticas) están permitidos, pero sujetos a una regulación estricta: requieren gestión de riesgos, datos de alta calidad, registro de actividad, supervisión humana y una evaluación de conformidad antes de acceder al mercado.

Los niveles inferiores tienen requisitos más ligeros:

• El riesgo limitado (chatbots y deepfakes) exige transparencia, por ejemplo, informar a los usuarios de que interactúan con una IA
• El riesgo mínimo (filtros de spam e IA para videojuegos) prácticamente no tiene obligaciones

De arriba abajo, la pirámide del Reglamento de IA de la UE es: inaceptable (prohibido), alto (requisitos estrictos), limitado (obligaciones de transparencia) y mínimo (uso libre). La mayoría de las aplicaciones cotidianas de IA se encuentran en los dos niveles inferiores.

Una ficha del modelo es un documento breve y estandarizado que se publica junto con un modelo. Informa sobre para qué sirve el modelo y dónde no debe utilizarse, de modo que los equipos que lo integren puedan tomar decisiones fundamentadas. Es el equivalente de una etiqueta nutricional para la IA.

La sección de uso previsto indica el propósito principal, los usuarios objetivo y los usos que quedan explícitamente fuera de alcance. Esto evita usos indebidos, como aplicar a contratos legales un modelo de análisis de sentimientos entrenado con tuits en inglés.

La sección de rendimiento informa sobre las métricas, idealmente desglosadas por subgrupo, y sobre los datos de evaluación utilizados. Las métricas desagregadas revelan si el modelo funciona bien para todos o únicamente para el grupo mayoritario.

La sección de advertencias y limitaciones enumera los modos de fallo y sesgos conocidos, así como las condiciones en las que el modelo pierde rendimiento, por ejemplo, en idiomas con pocos recursos o ante entradas fuera de la distribución. Unas advertencias honestas generan confianza y evitan daños.

Los equipos ponen en práctica la gobernanza mediante una lista de comprobación de IA responsable que se revisa antes del lanzamiento:

• ¿Los datos de entrenamiento son representativos y se han obtenido con consentimiento?
• ¿Hemos medido la equidad entre los grupos?
• ¿Existe supervisión humana para las decisiones de alto impacto?
• ¿Hay explicaciones disponibles para los usuarios afectados?
• ¿Se ha publicado una ficha del modelo y existe un plan de monitorización?

Ha aprendido sobre ética y gobernanza de la IA:

• La pirámide de riesgos de la EU AI Act: inaceptable (prohibido), alto (estricto), limitado (transparencia), mínimo (libre)
• Una Model Card documenta el uso previsto, el rendimiento (desglosado) y las advertencias
• Una lista de comprobación de IA responsable convierte los principios en controles previos al lanzamiento