Los 10 principales riesgos de OWASP para LLM

El OWASP Top 10 for Large Language Model Applications es una lista, elaborada por la comunidad, de los riesgos de seguridad más críticos y específicos de los sistemas basados en LLM. Sigue el modelo del conocido OWASP Web Top 10, pero aborda amenazas que las listas clásicas de AppSec no contemplan.

Existe porque las aplicaciones con LLM introducen nuevas superficies de ataque: control de flujo en lenguaje natural, salidas no deterministas, cadenas de suministro de modelos y agentes autónomos. La lista proporciona a los equipos de seguridad un vocabulario común y una lista de comprobación para el modelado de amenazas.

Los códigos siguientes utilizan la numeración LLM01-LLM10 de la edición de 2025.

LLM01: Inyección de prompts es sistemáticamente el riesgo número uno. El texto controlado por el atacante anula las instrucciones del desarrollador porque el modelo no puede separar las instrucciones confiables de los datos no confiables.

• Directa: el usuario escribe instrucciones para anularlas.
• Indirecta: las instrucciones se ocultan en páginas web recuperadas, archivos o resultados de herramientas.

Mitigaciones: aplique el principio de privilegio mínimo a las herramientas, trate todo el contenido recuperado como datos, añada puntos de control humanos para acciones sensibles y rompa la vía de exfiltración de datos.

LLM02: Divulgación de información confidencial abarca los casos en que el modelo revela datos que no debería revelar: datos de identificación personal (PII), secretos, datos de entrenamiento propietarios o información de otro tenant.

Las filtraciones se producen por datos de entrenamiento memorizados, inyección de contexto demasiado amplia o prompts del sistema que contienen credenciales.

• Depure y minimice los datos incluidos en el contexto.
• Nunca incluya secretos activos en prompts; use tokens con alcance limitado y corta duración fuera de banda.
• Aplique filtros de salida y comprobaciones de prevención de pérdida de datos antes de devolver las respuestas.

Los riesgos de LLM03: Cadena de suministro proceden de modelos, conjuntos de datos, complementos y bibliotecas de terceros. Un modelo base envenenado, un ajuste fino con puerta trasera obtenido de un repositorio de modelos o una dependencia maliciosa de Python pueden comprometer toda la aplicación.

• Verifique la procedencia y las sumas de comprobación del modelo.
• Fije las versiones y revise las licencias.
• Analice los archivos de modelo serializados con pickle (pickle puede ejecutar código al cargarse) y prefiera formatos seguros como safetensors.

LLM04: Envenenamiento de datos y modelos ataca el flujo de entrenamiento o ajuste fino. Un atacante que pueda influir en los datos de entrenamiento puede implantar puertas traseras (desencadenadores ocultos), sesgar las salidas o degradar la calidad.

Los flujos de RAG que incorporan documentos enviados por usuarios son una superficie de envenenamiento activa incluso después de la implementación.

• Examine y firme las fuentes de datos de entrenamiento.
• Use detección de anomalías en los conjuntos de datos.
• Aísle y revise el contenido aportado por usuarios antes de indexarlo.

LLM05: Gestión incorrecta de salidas ocurre cuando los componentes posteriores confían en la salida del modelo sin validarla. Puesto que el atacante puede influir en la salida mediante una inyección, pasarla sin validar a un shell, una consulta SQL, un navegador o eval conduce directamente a XSS, SSRF o RCE.

Regla: trate la salida del LLM exactamente como una entrada de usuario no confiable. Codifíquela, valídela y aíslela en un sandbox antes de que llegue a cualquier intérprete.

LLM06: Agencia excesiva es el daño que se produce al dar al modelo demasiada funcionalidad, demasiados permisos o demasiada autonomía. Cuando el modelo puede llamar a herramientas, una inyección se convierte en una acción, no solo en texto.

• Funcionalidad excesiva: herramientas que la aplicación realmente no necesita.
• Permisos excesivos: una herramienta con permisos de escritura y eliminación cuando basta con leer.
• Autonomía excesiva: acciones de alto impacto sin aprobación humana.

Aplique el principio de privilegio mínimo a cada herramienta y requiera confirmación para las operaciones irreversibles.

LLM07: Filtración del prompt del sistema reconoce que los prompts del sistema no son un almacén seguro de secretos. Los atacantes a menudo pueden extraerlos y, en ocasiones, contienen credenciales, lógica empresarial oculta o reglas de filtrado que facilitan nuevos ataques.

• Suponga que el prompt del sistema puede recuperarse; nunca inserte secretos ni claves en él.
• Imponga la autorización en su backend, en lugar de confiar en que se cumpla una regla del prompt.
• Considere roto cualquier control de seguridad si solo existe en el texto del prompt.

Las entradas restantes:

• LLM08 Debilidades de vectores y embeddings: riesgos en los embeddings de RAG, como filtraciones entre tenants, inversión de embeddings e indexación de documentos envenenados. Imponga el control de acceso durante la recuperación.
• LLM09 Desinformación: alucinaciones expresadas con confianza y dependencia excesiva. Añada grounding, citas y revisión humana para las salidas de alto impacto.
• LLM10 Consumo sin límites: denegación de servicio por costes (denial-of-wallet) y DoS provocados por consultas costosas o descontroladas. Aplique límites de frecuencia, presupuestos de tokens, tiempos de espera y alertas de costes.

La lista Top 10 resulta más útil como lista de comprobación estructurada durante la revisión del diseño:

• Asigne cada componente (entrada, recuperación, herramientas, salida) a los riesgos de LLM relevantes.
• Para cada riesgo, identifique un control concreto y un responsable.
• Escriba casos de abuso y conviértalos en pruebas automatizadas.

Combínela con marcos existentes como el OWASP Top 10 estándar, MITRE ATLAS para tácticas específicas de ML y NIST AI Risk Management Framework para la gobernanza.

Ningún control individual cubre estos riesgos. Combínelos en capas:

• Capa de entrada: validación, clasificación y límites de frecuencia.
• Capa del modelo: herramientas con privilegio mínimo, contexto limitado y modelos de protección.
• Capa de salida: validación, codificación, DLP y aprobación humana.
• Capa de plataforma: registro, supervisión, verificación de la cadena de suministro y controles de costes.

Suponga que cualquier capa puede fallar y diseñe el sistema de modo que un solo fallo no se convierta en una vulneración.

El OWASP LLM Top 10 de un vistazo:

• LLM01 Inyección de prompts, LLM02 Divulgación de información confidencial, LLM03 Cadena de suministro, LLM04 Envenenamiento de datos y modelos, LLM05 Gestión incorrecta de salidas.
• LLM06 Agencia excesiva, LLM07 Filtración del prompt del sistema, LLM08 Debilidades de vectores y embeddings, LLM09 Desinformación, LLM10 Consumo sin límites.
• Trate la salida del modelo y el prompt del sistema como no confiables y no secretos.
• Use la lista como lista de comprobación para el modelado de amenazas, combínela con MITRE ATLAS y NIST AI RMF y aplique una defensa en profundidad en las capas de entrada, modelo, salida y plataforma.