Consulta de registros de S3 con Athena

Amazon Athena es un servicio de consultas interactivo y sin servidor que ejecuta SQL estándar directamente sobre datos almacenados en Amazon S3. No hay ninguna base de datos que aprovisionar o administrar: solo debe indicar a Athena dónde están los datos en S3, definir un esquema y realizar la consulta. Esto lo hace ideal para analizar los enormes archivos de registro que produce AWS.

Athena es sin servidor y usted paga por consulta según la cantidad de datos escaneados. No hay costos de inactividad cuando no realiza consultas. Este modelo de precios fomenta las consultas eficientes y los datos bien organizados, ya que escanear menos datos es más rápido y económico; es un principio recurrente en el uso de Athena.

La seguridad genera enormes volúmenes de registros: CloudTrail, registros de flujo de VPC, registros de acceso de ALB y muchos más, todos almacenados en S3. Athena permite investigarlos con SQL, que le resultará familiar, en lugar de crear una canalización de datos. Durante un incidente, puede buscar en meses de historial y miles de millones de registros en cuestión de minutos, justo lo que requieren las investigaciones.

Athena utiliza el enfoque de esquema al leer: usted define un esquema de tabla que describe cómo interpretar los archivos de S3, y el esquema se aplica al realizar la consulta, no cuando se almacenan los datos. Los archivos de registro sin procesar nunca se modifican. Esto significa que puede superponer nuevas tablas y vistas sobre los mismos registros intactos en cualquier momento.

Athena lee las definiciones de las tablas del AWS Glue Data Catalog, un almacén central de metadatos. Una tabla asigna una ubicación de S3 y un formato a columnas y tipos. Una vez catalogada, la tabla está disponible para Athena y otros servicios de análisis, lo que le proporciona una definición compartida de los datos de registro.

Athena consulta muchos formatos: JSON, CSV, Apache Parquet, ORC y Avro. Los registros de CloudTrail están en JSON y los registros de flujo son texto delimitado por espacios. Los formatos columnares como Parquet son mucho más eficientes porque Athena solo lee las columnas que necesita una consulta, escaneando menos datos y reduciendo el costo.

Puede ejecutar consultas en la consola de Athena, mediante la API o con la CLI; los resultados se escriben en una ubicación de resultados de consulta de S3. Una consulta de investigación sencilla podría contar los inicios de sesión fallidos en la consola por usuario. Athena devuelve los resultados en segundos o minutos, según el volumen de datos, sin necesidad de administrar infraestructura.

El acceso a Athena se controla mediante políticas de IAM, y las consultas solo pueden leer los datos de S3 a los que el autor de la llamada tiene permiso de acceso. También debe cifrar la ubicación de resultados de las consultas, ya que los resultados pueden contener información confidencial de los registros. Los grupos de trabajo permiten separar equipos, exigir el cifrado de los resultados y establecer límites de datos escaneados por consulta.

Además de S3, las consultas federadas de Athena pueden acceder a otras fuentes de datos, como DynamoDB o RDS, mediante conectores. Aunque la mayoría de los análisis de registros de seguridad se dirigen a S3, la federación permite combinar los datos de registro con datos de referencia, como un inventario de activos, para enriquecer una investigación sin trasladarlo todo primero a S3.

Los grupos de trabajo aíslan las consultas, los resultados y la configuración de distintos equipos. Un grupo de trabajo puede exigir una ubicación de resultados cifrada, establecer un bucket separado para los resultados de las consultas y limitar los bytes que puede escanear una sola consulta. Esto contiene los costos y mantiene separados los resultados confidenciales de las investigaciones de un equipo respecto a los de otro.

Utilice Athena cuando necesite analizar de forma puntual grandes volúmenes de registros históricos, especialmente CloudTrail y los registros de flujo almacenados en S3. Para las alertas en tiempo real seguirá dependiendo de CloudWatch y GuardDuty; Athena es la herramienta para investigaciones detalladas posteriores a los hechos y para generar informes sobre conjuntos de datos masivos.

Compruebe sus conocimientos básicos sobre Athena.

Amazon Athena ejecuta SQL directamente sobre datos de S3, sin servidor y con un precio basado en los datos escaneados. Utiliza el enfoque de esquema al leer, con definiciones de tablas en el Glue Data Catalog, y admite formatos como JSON y el eficiente Parquet. Protéjalo con IAM, ubicaciones de resultados cifradas y grupos de trabajo. Es la herramienta principal para el análisis detallado y posterior a los hechos de CloudTrail y los registros de flujo.