Construcción de un conjunto de ataques

Una suite de ataques es una colección versionada y ejecutable de casos de prueba adversariales que se ejecutan automáticamente contra su sistema. Convierte el red teaming ad hoc en una medición repetible cuyo seguimiento puede realizar a lo largo del tiempo y que puede utilizar como criterio para aprobar versiones.

Defina un registro estructurado para cada ataque, de modo que los casos se puedan filtrar, puntuar y reproducir.

Busque amplitud: construya una matriz de categorías de daño × técnicas y asegúrese de que cada celda relevante tenga casos. Las lagunas de la matriz son puntos ciegos que un atacante encontrará primero.

Escribir miles de casos manualmente no es escalable. Utilice plantillas con espacios sustituibles y, después, genere variantes mediante sustitución y mutación (paráfrasis, codificación o traducción). Esto amplía la cobertura y comprueba la robustez frente a cambios superficiales.

Los ataques crescendo y de saturación del contexto requieren conversaciones programadas. Represente los casos de múltiples turnos como una lista de turnos del usuario; el harness los reproduce en orden y evalúa la respuesta final (o cualquier respuesta).

Cada caso necesita un evaluador programático. Utilice oráculos deterministas cuando sea posible (expresiones regulares para detectar secretos filtrados, comprobaciones de esquemas y aserciones sobre llamadas a herramientas) y un evaluador basado en un LLM para las políticas más matizadas, calibrado con etiquetas humanas.

El harness recorre los casos, reproduce los turnos contra el objetivo, aplica el oráculo y registra el veredicto junto con las transcripciones completas. Fije la versión del modelo y la configuración para garantizar la reproducibilidad.

Amplíe la suite estática con un modelo atacante que modifique las semillas contra su oráculo para descubrir nuevos fallos. Promueva cada descubrimiento exitoso a un caso permanente y sin duplicados, de modo que la suite crezca a partir de hallazgos reales.

Los casos generados tienden a convertirse en duplicados casi idénticos que inflan los recuentos sin añadir cobertura. Agrúpelos según la similitud de sus embeddings y conserve casos representativos. Una suite seleccionada de 500 casos supera a una de 50.000 casos ruidosos, tanto por la calidad de la señal como por el tiempo de ejecución.

Ejecute la suite en CI cada vez que cambie un prompt, un modelo o una barrera de seguridad. Condicione las versiones a una política: cero nuevos fallos críticos y ninguna regresión en los casos que antes superaban las pruebas. Así detectará las regresiones de seguridad antes que los usuarios.

Una suite se degrada si no recibe mantenimiento. Revísela periódicamente: retire los casos que el sistema ahora supera trivialmente (muévalos a un nivel de regresión), añada casos para las tendencias de ataque emergentes y vuelva a calibrar los oráculos evaluadores basados en LLM después de actualizar el modelo. Trátela como una infraestructura de pruebas viva.

Su modelo atacante genera 50.000 casos, pero la mayoría son paráfrasis casi idénticas. ¿Qué debería hacer antes de añadirlos a la suite?

Creación de una suite de ataques:

• Estructure los casos con categoría, técnica, gravedad, turnos y oráculo.
• Cubra una matriz de categoría × técnica; utilice plantillas y mutaciones para escalar.
• Admite casos de múltiples turnos y oráculos automatizados.
• Utilice el descubrimiento con un atacante en el circuito; deduplicate y seleccione los casos.
• Condicione CI a los fallos críticos y las regresiones; mantenga la suite a lo largo del tiempo.

Siguiente: medición de la robustez con métricas.