Melakukan Kueri Log S3 dengan Athena

Amazon Athena adalah layanan kueri interaktif nirserver yang menjalankan SQL standar langsung pada data yang disimpan di Amazon S3. Tidak ada basis data yang perlu disediakan atau dikelola: Anda mengarahkan Athena ke data di S3, menentukan skema, lalu menjalankan kueri. Hal ini menjadikannya ideal untuk menganalisis file log berukuran sangat besar yang dihasilkan AWS.

Athena bersifat nirserver dan Anda membayar setiap kueri berdasarkan jumlah data yang dipindai. Tidak ada biaya menganggur saat Anda tidak menjalankan kueri. Model harga ini mendorong kueri yang efisien dan data yang tertata baik, karena memindai lebih sedikit data berarti lebih cepat dan lebih murah, sebuah tema yang terus muncul dalam penggunaan Athena.

Keamanan menghasilkan log dalam jumlah sangat besar: CloudTrail, log aliran VPC, log akses ALB, dan lainnya, yang semuanya masuk ke S3. Athena memungkinkan Anda menyelidikinya dengan SQL yang sudah dikenal, tanpa harus membangun alur data. Saat terjadi insiden, Anda dapat menelusuri riwayat berbulan-bulan di antara miliaran catatan dalam hitungan menit, tepat seperti yang dibutuhkan investigasi.

Athena menggunakan skema saat dibaca: Anda menentukan skema TABLE yang menjelaskan cara menafsirkan file di S3, dan skema tersebut diterapkan saat Anda menjalankan kueri, bukan saat data disimpan. File log mentah tidak pernah diubah. Artinya, Anda dapat menambahkan TABLE dan tampilan baru di atas log yang sama tanpa mengubahnya kapan saja.

Athena membaca definisi TABLE dari AWS Glue Data Catalog, yaitu penyimpanan metadata terpusat. TABLE memetakan lokasi di S3 serta formatnya ke kolom dan tipe data. Setelah dikatalogkan, TABLE tersedia bagi Athena dan layanan analitik lainnya, sehingga Anda memiliki satu definisi bersama untuk data log.

Athena dapat menjalankan kueri pada banyak format: JSON, CSV, Apache Parquet, ORC, dan Avro. Log CloudTrail berformat JSON, sedangkan Log Aliran berupa teks yang dipisahkan spasi. Format kolumnar seperti Parquet jauh lebih efisien karena Athena hanya membaca kolom yang diperlukan kueri, sehingga lebih sedikit data yang dipindai dan biaya berkurang.

Anda menjalankan kueri di konsol Athena, melalui API, atau melalui CLI, dan hasilnya ditulis ke lokasi hasil kueri di S3. Kueri investigasi sederhana mungkin menghitung kegagalan login konsol berdasarkan pengguna. Athena mengembalikan hasil dalam hitungan detik hingga menit, bergantung pada volume data, tanpa infrastruktur yang perlu dikelola.

Akses Athena diatur oleh kebijakan IAM, dan kueri hanya dapat membaca data S3 yang boleh diakses oleh pemanggil. Anda juga sebaiknya mengenkripsi lokasi hasil kueri, karena hasilnya mungkin berisi konten log yang sensitif. Grup kerja memungkinkan Anda memisahkan tim, mewajibkan enkripsi hasil, dan menetapkan batas pemindaian data untuk setiap kueri.

Selain S3, kueri terfederasi Athena dapat mengakses sumber data lain seperti DynamoDB atau RDS melalui konektor. Meskipun sebagian besar analisis log keamanan menargetkan S3, federasi memungkinkan Anda menggabungkan data log dengan data referensi, seperti inventaris aset, untuk memperkaya investigasi tanpa memindahkan semuanya ke S3 terlebih dahulu.

Grup kerja mengisolasi kueri, hasil, dan pengaturan untuk tim yang berbeda. Grup kerja dapat mewajibkan lokasi hasil yang terenkripsi, menetapkan bucket hasil kueri terpisah, dan membatasi jumlah bita yang boleh dipindai oleh satu kueri. Hal ini membatasi biaya sekaligus menjaga hasil investigasi sensitif milik satu tim tetap terpisah dari milik tim lain.

Gunakan Athena saat Anda perlu menganalisis volume besar log historis secara ad hoc, terutama CloudTrail dan Log Aliran di S3. Untuk pemberitahuan waktu nyata, Anda tetap mengandalkan CloudWatch dan GuardDuty; Athena adalah alat untuk penyelidikan mendalam setelah kejadian dan pelaporan di seluruh kumpulan data berukuran sangat besar.

Amazon Athena menjalankan SQL langsung pada data S3, bersifat nirserver dan dikenai harga berdasarkan data yang dipindai. Athena menggunakan skema saat dibaca dengan definisi TABLE di Glue Data Catalog dan mendukung format seperti JSON serta Parquet yang efisien. Amankan dengan IAM, lokasi hasil terenkripsi, dan grup kerja. Athena adalah alat utama untuk analisis mendalam setelah kejadian terhadap CloudTrail dan Log Aliran.