Membangun Tabel di Atas Data CloudTrail

Athena tidak dapat menjalankan kueri pada file S3 mentah sebelum Anda memberitahunya cara membaca file tersebut. Sebuah TABLE memetakan file JSON CloudTrail dalam bucket S3 Anda ke kolom bernama dengan tipe data. Setelah TABLE tersedia, struktur lengkap peristiwa CloudTrail dapat diakses menggunakan SQL biasa.

CloudTrail mengirimkan peristiwa dalam format JSON, dengan setiap catatan menjelaskan satu panggilan API dan memiliki bidang bertingkat seperti userIdentity, eventName, sourceIPAddress, dan requestParameters. Skema TABLE harus mencerminkan struktur bertingkat ini, termasuk tipe struct untuk objek, sehingga kueri dapat mengakses bidang seperti userIdentity.arn.

Anda tidak perlu menulis skema secara manual. AWS menerbitkan pernyataan CREATE TABLE standar untuk CloudTrail, dan konsol CloudTrail serta Athena dapat membuatnya untuk Anda. Menggunakan DDL yang disediakan memastikan setiap bidang, termasuk bidang yang bertingkat dalam, dipetakan dengan benar sehingga kueri Anda tidak melewatkan data.

SerDe (Serializer/Deserializer) memberi tahu Athena cara mengurai setiap file. Tabel CloudTrail menggunakan SerDe yang dirancang untuk tata letak JSON CloudTrail dan memahami susunan records serta struktur bertingkat. Memilih SerDe yang tepat sangat penting; SerDe yang salah menyebabkan kesalahan penguraian atau kolom bernilai null.

Klausa LOCATION pada tabel menunjuk ke awalan S3 tempat CloudTrail menyimpan log, biasanya berupa jalur yang mencakup ID akun dan wilayah. Menentukan awalan ini dengan benar sangat penting: jika terlalu luas, Anda memindai data yang tidak relevan; jika terlalu sempit, Anda melewatkan peristiwa yang ingin Anda kueri.

Setelah tabel dibuat, Anda dapat mengueri kolom bertingkat menggunakan notasi titik, seperti userIdentity.arn atau requestParameters.bucketName. Fungsi SQL membantu membongkar larik dan string JSON. Di sinilah Athena sangat berguna untuk investigasi: Anda dapat memfilter secara tepat berdasarkan nama peristiwa, prinsipal, dan parameter dari panggilan API apa pun.

Alih-alih menulis DDL secara manual, perayap AWS Glue dapat memindai data S3 dan menyimpulkan skema ke dalam Katalog Data secara otomatis. Untuk format yang sudah dikenal seperti CloudTrail, DDL yang disediakan biasanya lebih rapi, tetapi perayap membantu untuk format log khusus atau yang terus berubah, ketika Anda tidak ingin menulis skema secara manual.

JSON CloudTrail memiliki kolom yang sebenarnya berupa string JSON, seperti requestParameters ketika nilainya berbeda-beda menurut layanan. Anda sering menguraikannya saat kueri dijalankan menggunakan fungsi JSON. Memahami bahwa beberapa kolom adalah string yang perlu diurai, bukan kolom yang sudah terstruktur, mencegah kebingungan ketika suatu kolom tidak berperilaku seperti kolom biasa.

Untuk jejak organisasi, log dari semua akun masuk ke satu bucket dengan awalan khusus untuk setiap akun. Anda dapat membuat satu tabel untuk seluruh awalan tersebut agar dapat mengueri semua akun sekaligus, atau membuat tabel per akun untuk isolasi. Tabel terpadu sangat berguna untuk perburuan ancaman di seluruh organisasi dalam satu kueri.

Setelah membuat tabel, jalankan SELECT singkat dengan LIMIT kecil untuk memastikan baris dikembalikan dan kolom terisi sesuai harapan. Jika kolom bernilai null, kemungkinan SerDe, lokasi, atau skemanya tidak tepat. Pemeriksaan kewajaran ini mencegah Anda membangun investigasi di atas tabel yang rusak tanpa terlihat.

Setelah tabel CloudTrail benar, Anda memiliki jejak audit yang dapat dikueri dan mencakup seluruh riwayat yang tercatat. Setiap login konsol, panggilan API, dan kesalahan kini menjadi baris yang dapat Anda filter dan agregasikan. Tabel ini menjadi dasar bagi kueri insiden yang akan Anda tulis berikutnya.

Uji pengetahuan Anda tentang pembuatan tabel.

Untuk mengueri CloudTrail di Athena, Anda membuat tabel yang memetakan file JSON ke kolom menggunakan DDL CREATE TABLE yang disediakan AWS, SerDe yang tepat, dan LOCATION S3 yang benar. Kueri kolom bertingkat menggunakan notasi titik, uraikan kolom berupa string JSON saat kueri dijalankan, lalu verifikasi dengan SELECT kecil. Jejak organisasi dapat dibuat sebagai satu tabel untuk perburuan di seluruh organisasi.