Amazon Athena: SQL sin servidor en S3

Amazon Athena es un servicio de consultas interactivo y sin servidor que permite ejecutar SQL estándar directamente sobre datos almacenados en Amazon S3. No es necesario aprovisionar servidores ni administrar clústeres, y solo paga por los datos examinados en cada consulta (aproximadamente 5 $ por TB examinado). Athena utiliza Presto internamente y se integra de forma nativa con Glue Data Catalogue para obtener los metadatos de las tablas.

Antes de ejecutar consultas, configure un Athena Workgroup y especifique una ruta de S3 para la salida de los resultados. Los grupos de trabajo permiten separar el historial de consultas y el seguimiento de costes entre equipos, aplicar el cifrado de los resultados y establecer límites de datos examinados por consulta para evitar costes descontrolados. Cada resultado de consulta se escribe como CSV en el bucket de salida de S3 configurado.

Indique a Athena una base de datos de Glue Data Catalogue y ejecute SQL ANSI. Athena admite SELECT, JOIN, GROUP BY, funciones de ventana y CTE. También puede utilizar CREATE TABLE AS SELECT (CTAS) para guardar los resultados de una consulta como una tabla nueva en formato Parquet, materializando de hecho los resultados intermedios para acelerar las consultas posteriores.

Athena cobra por cada TB de datos examinado. La reducción de costes más importante se consigue mediante la poda de particiones: incluya siempre las columnas de partición en la cláusula WHERE. Si los datos están particionados por year/month/day, filtrar por estas columnas evita que Athena examine otras particiones. Sin un filtro de partición en una tabla de escala de petabytes, una consulta sencilla puede costar cientos de dólares.

Almacenar los datos en Apache Parquet u ORC en lugar de CSV o JSON reduce drásticamente la cantidad de datos que Athena examina en cada consulta. Una consulta columnar que utiliza 3 de 50 columnas solo examina los datos correspondientes a esas 3 columnas en el disco. Gracias a la compresión integrada (Snappy, Zstd), los archivos Parquet suelen ser entre 5 y 10 veces más pequeños que los CSV equivalentes, lo que multiplica el ahorro de costes.

Athena Federated Query amplía Athena más allá de S3 para consultar datos en RDS, DynamoDB, Redshift, Elasticsearch y fuentes personalizadas mediante conectores de fuentes de datos basados en Lambda. Implemente una función Lambda de conector desde Serverless Application Repository, regístrela como fuente de datos de Athena y, a continuación, consulte tablas de S3 y bases de datos activas en un único JOIN de SQL, sin mover primero ningún dato.

Amazon QuickSight se conecta directamente a Athena como fuente de datos, lo que permite a los analistas empresariales crear paneles interactivos a partir de datos de S3 sin ninguna base de datos intermedia. QuickSight utiliza SPICE (Super-fast, Parallel, In-memory Calculation Engine) para almacenar en caché los resultados de las consultas de Athena y mostrar rápidamente los paneles. Esta pila de BI sin servidor (S3 + Glue + Athena + QuickSight) es un patrón habitual en los exámenes para realizar análisis rentables.

Además de la partición y el formato columnar, puede optimizar aún más las consultas de Athena mediante las siguientes técnicas: dividir los archivos grandes (el objetivo es utilizar archivos de entre 128 MB y 1 GB para facilitar el paralelismo), usar bucketización para las columnas que se combinan con frecuencia, evitar SELECT * y utilizar funciones de agregación aproximada como approx_distinct() y approx_percentile() cuando no se necesiten valores exactos. Estas técnicas reducen tanto los costes como la latencia.

Athena se integra con IAM para el control de acceso: los usuarios necesitan permisos para ejecutar consultas de Athena (athena:StartQueryExecution), acceder al bucket de salida de S3 y leer los datos subyacentes de S3. Para controlar con precisión el acceso a columnas y filas, combine Athena con Lake Formation. También puede restringir un grupo de trabajo a bases de datos específicas mediante claves de condición de IAM en el ARN del grupo de trabajo.

Los resultados de las consultas de Athena se almacenan como archivos CSV en S3 y se guardan en caché durante 7 días, por lo que volver a ejecutar la misma consulta dentro de ese periodo no vuelve a examinar los datos. Para necesidades de informes periódicos, utilice Athena Scheduled Queries para ejecutar una consulta según una programación cron y guardar los resultados en una ubicación nueva de S3 o directamente en una tabla. Como alternativa, active una consulta de Athena desde una máquina de estados de Step Functions o una regla de EventBridge.

Para el examen SAA-C03, debe saber cuándo recomendar Athena frente a Redshift. Elija Athena para consultas ad hoc e infrecuentes sobre S3, sin infraestructura que administrar. Elija Redshift cuando necesite tiempos de respuesta inferiores a un segundo para combinaciones complejas, disponga de un equipo de análisis dedicado que ejecute cientos de consultas simultáneas o quiera utilizar Redshift Spectrum para ampliar un almacén de datos con datos de S3. El factor clave es la frecuencia y complejidad de las consultas.

Compruebe su comprensión de los conceptos de AWS Solutions Architect (SAA-C03) de esta lección.

En esta lección ha aprendido que: Athena cobra por cada TB examinado, por lo que la poda de particiones y el formato Parquet son controles de costes esenciales, Athena Federated Query amplía SQL a fuentes de datos que no son S3 mediante conectores de Lambda, y Athena es más adecuado para consultas ad hoc, mientras que Redshift se adapta mejor a los análisis con alta simultaneidad. A continuación, exploraremos Kinesis para la transmisión y el análisis de datos en tiempo real.