Creación de tablas sobre datos de CloudTrail

Athena no puede consultar archivos sin procesar de S3 hasta que se le indique cómo leerlos. Una tabla asigna los archivos JSON de CloudTrail del bucket de S3 a columnas con nombre y tipo. Una vez creada la tabla, la estructura detallada de los eventos de CloudTrail se puede consultar mediante SQL convencional.

CloudTrail entrega los eventos en formato JSON; cada registro describe una llamada a la API con campos anidados como userIdentity, eventName, sourceIPAddress y requestParameters. El esquema de la tabla debe reflejar esta estructura anidada, incluidos los tipos struct para los objetos, de modo que las consultas puedan acceder a campos como userIdentity.arn.

No tiene que escribir el esquema manualmente. AWS publica una instrucción estándar de CREATE TABLE para CloudTrail, y tanto la consola de CloudTrail como Athena pueden generarla por usted. Usar el DDL proporcionado garantiza que todos los campos, incluidos los profundamente anidados, se asignen correctamente para que sus consultas no omitan datos.

Un SerDe (Serializer/Deserializer) indica a Athena cómo analizar cada archivo. Las tablas de CloudTrail utilizan un SerDe diseñado para la estructura JSON de CloudTrail, que entiende la matriz de registros y las estructuras anidadas. Elegir el SerDe correcto es esencial; uno incorrecto produce errores de análisis o columnas con valores nulos.

La cláusula LOCATION de la tabla apunta al prefijo de S3 donde CloudTrail almacena los registros, normalmente una ruta que incluye el ID de cuenta y la región. Es importante especificar correctamente este prefijo: si es demasiado amplio, analizará datos irrelevantes; si es demasiado limitado, omitirá eventos que pretendía consultar.

Una vez creada la tabla, puede consultar campos anidados mediante la notación de punto, como userIdentity.arn o requestParameters.bucketName. Las funciones SQL ayudan a descomponer matrices y cadenas JSON. Aquí es donde Athena destaca en las investigaciones: puede filtrar con precisión por el nombre del evento, la entidad principal y los parámetros de cualquier llamada a la API.

En lugar de escribir DDL manualmente, un AWS Glue crawler puede analizar los datos de S3 e inferir automáticamente un esquema en el Data Catalog. Para formatos conocidos como CloudTrail, el DDL proporcionado suele ser más claro, pero los crawlers resultan útiles para formatos de registro personalizados o cambiantes en los que preferiría no escribir el esquema manualmente.

El JSON de CloudTrail contiene campos que son a su vez cadenas JSON, como requestParameters, cuando los valores varían según el servicio. A menudo debe analizarlos en el momento de la consulta mediante funciones JSON. Saber que algunas columnas son cadenas que deben analizarse, y no columnas ya estructuradas, evita confusiones cuando un campo no se comporta como una columna normal.

En un organization trail, los registros de todas las cuentas se almacenan en un único bucket, dentro de prefijos específicos para cada cuenta. Puede crear una sola tabla sobre todo el prefijo para consultar todas las cuentas a la vez, o tablas independientes por cuenta para mantener el aislamiento. Una tabla unificada es muy eficaz para buscar amenazas en toda la organización mediante una sola consulta.

Después de crear la tabla, ejecute un SELECT rápido con un LIMIT pequeño para confirmar que se devuelven filas y que las columnas se rellenan como esperaba. Si las columnas contienen valores nulos, es probable que el SerDe, la ubicación o el esquema sean incorrectos. Esta comprobación de coherencia evita que base sus investigaciones en una tabla que falla silenciosamente.

Una vez que la tabla de CloudTrail es correcta, dispone de un registro de auditoría consultable que abarca todo el historial registrado. Cada inicio de sesión en la consola, llamada a la API y error es ahora una fila que puede filtrar y agregar. Esta tabla es la base de las consultas de incidentes que escribirá a continuación.

Para consultar CloudTrail en Athena, debe crear una tabla que asigne los archivos JSON a columnas mediante el CREATE TABLE DDL proporcionado por AWS, el SerDe correcto y la LOCATION adecuada de S3. Consulte los campos anidados con la notación de punto, analice las columnas que contienen cadenas JSON en el momento de la consulta y verifique el resultado con un SELECT pequeño. Un organization trail puede representarse mediante una sola tabla para buscar amenazas en toda la organización.