Pembatasan, Penyimpanan Tembolok, dan Rencana Penggunaan

Tanpa pembatasan laju, satu klien yang bermasalah atau lonjakan lalu lintas dapat membebani layanan backend Anda—konkurensi Lambda, koneksi RDS, atau API hilir. Pembatasan laju di API Gateway membatasi jumlah permintaan per detik dan mengizinkan lonjakan singkat di atas laju stabil. Permintaan yang dibatasi menerima respons 429 Too Many Requests secara langsung, tanpa mencapai backend, sehingga sumber daya hilir terlindungi dari beban berlebih.

Pembatasan laju beroperasi pada beberapa tingkat. Batas tingkat akun adalah 10.000 permintaan per detik (RPS) dengan lonjakan 5.000 permintaan (batas lunak, dapat ditingkatkan). Pada tingkat tahap, Anda dapat menetapkan laju pembatasan bawaan (RPS) dan batas lonjakan yang berlaku untuk semua method dalam tahap tersebut. Pada tingkat method, Anda dapat mengganti nilai bawaan tahap untuk titik akhir tertentu—misalnya, memberikan batas laju lebih tinggi kepada titik akhir GET yang banyak digunakan untuk membaca daripada titik akhir POST yang banyak digunakan untuk menulis.

Pembatasan laju API Gateway menggunakan algoritme bucket token. Token terakumulasi dalam sebuah bucket hingga mencapai batas lonjakan (kapasitas maksimum sesaat). Setiap permintaan menggunakan satu token. Token diisi ulang pada batas laju (RPS kondisi stabil). Jika bucket kosong, permintaan dibatasi. Contoh: burst=5000, rate=1000 RPS. Pada awalnya Anda dapat menangani 5.000 permintaan secara bersamaan; bucket diisi ulang dengan 1.000 token per detik. Hal ini memungkinkan penyerapan lonjakan lalu lintas singkat sekaligus menegakkan batas laju jangka panjang.

Penyimpanan respons di tembolok (tersedia pada tahap REST API) menyimpan respons backend dalam tembolok yang dikelola API Gateway, sehingga permintaan identik dilayani dari tembolok tanpa mengakses backend. Hal ini mengurangi beban backend, menurunkan latensi, dan dapat secara signifikan mengurangi biaya pemanggilan Lambda untuk API yang banyak digunakan untuk membaca. Tembolok menggunakan permintaan sebagai kunci (method, jalur, string kueri, dan header sesuai konfigurasi). TTL tembolok dapat dikonfigurasi dari 0 hingga 3600 detik (bawaan 300 detik).

Secara default, kunci tembolok adalah URL permintaan lengkap. Anda dapat menyesuaikan elemen yang berkontribusi pada kunci tembolok: sertakan parameter string kueri tertentu (misalnya, pageSize, filter), tetapi kecualikan parameter yang tidak relevan (misalnya, stempel waktu). Anda juga dapat menyertakan header tertentu dalam kunci tembolok. Kecualikan header sensitif dari kunci tembolok untuk mencegah data pribadi mencemari entri tembolok bersama. Gunakan penyetelan kunci tembolok untuk memaksimalkan tingkat cache hit sekaligus memastikan permintaan logis yang berbeda mendapatkan respons tembolok yang berbeda.

Klien dapat membatalkan tembolok untuk permintaan tertentu dengan menyertakan header Cache-Control: max-age=0. Anda juga dapat mengosongkan seluruh tembolok tahap melalui konsol atau API. Konfigurasikan apakah klien diizinkan membatalkan tembolok—batasi kemampuan ini di lingkungan produksi agar klien tidak sengaja melewati penggunaan tembolok. Untuk memberikan izin pengosongan secara selektif, lampirkan kebijakan sumber daya atau gunakan pengotorisasi Lambda yang memeriksa apakah pemanggil memiliki izin untuk mengosongkan tembolok.

Paket Penggunaan menentukan batas pelambatan dan batas kuota untuk sekelompok klien API. Kaitkan tahap API dengan paket penggunaan, lalu kaitkan kunci API dengan paket tersebut. Setiap kunci API menerapkan batas paket secara independen. Paket penggunaan memungkinkan Anda menawarkan akses bertingkat: paket Gratis dengan 100 RPM/10.000 permintaan per hari, dan paket Pro dengan 1.000 RPM/100.000 permintaan per hari. Ini adalah model untuk API yang dimonetisasi dan integrasi mitra, ketika klien yang berbeda memerlukan batas laju yang berbeda.

Kunci API adalah token string buram yang disertakan klien dalam header permintaan x-api-key. API Gateway memvalidasi kunci tersebut dan mengaitkan permintaan dengan paket penggunaan yang sesuai. Kunci API BUKAN mekanisme keamanan—kunci ini hanya mengidentifikasi klien untuk keperluan pelambatan dan kuota. Untuk keamanan, selalu gabungkan kunci API dengan otorisasi yang tepat (IAM, pengotorisasi Lambda, atau Cognito). Kunci API yang tidak dikaitkan dengan paket penggunaan tidak akan dikenai batas pelambatan.

Selain laju pelambatan per detik, paket penggunaan mendukung batas kuota: jumlah maksimum permintaan dalam suatu periode (DAY, WEEK, atau MONTH). Setelah klien menghabiskan kuotanya, permintaan berikutnya mengembalikan 429 hingga kuota diatur ulang. Batas kuota berguna untuk menerapkan tingkat gratis, mencegah penyalahgunaan API, dan menyelaraskan penggunaan API dengan penagihan. Penghitung kuota pada akhirnya konsisten, sehingga klien mungkin sedikit melampaui kuotanya sebelum diblokir.

Pantau kesehatan API Gateway dengan metrik CloudWatch berikut:

• Count: total panggilan API
• 4XXError: kesalahan klien, termasuk pelambatan 429
• 5XXError: kesalahan backend
• Latency: waktu permintaan dari ujung ke ujung
• IntegrationLatency: waktu menunggu backend
• CacheHitCount / CacheMissCount: efektivitas tembolok

Atur alarm pada lonjakan 4XXError untuk mendeteksi masalah pelambatan sebelum berdampak pada pengguna, dan pada CacheMissCount untuk mengidentifikasi masalah konfigurasi tembolok.

Gunakan penggunaan tembolok untuk API yang didominasi operasi baca dan responsnya jarang berubah—misalnya pencarian katalog produk, data referensi, dan konfigurasi statis. Penggunaan tembolok tidak efektif untuk data khusus pengguna atau data yang sangat dinamis. Selalu gunakan pelambatan—bahkan untuk API internal—untuk melindungi layanan backend dari kelebihan beban. Gabungkan keduanya: simpan data umum dalam tembolok untuk mengurangi beban backend dan lakukan pelambatan secara ketat agar satu klien tidak mendominasi API. Untuk ujian SAA-C03, penggunaan tembolok mengurangi biaya dan latensi; pelambatan memastikan ketersediaan.

Uji pemahaman Anda tentang konsep AWS Solutions Architect (SAA-C03) dari pelajaran ini.

Dalam pelajaran ini, Anda mempelajari bahwa Pelambatan pada tingkat akun, tahap, dan metode melindungi backend menggunakan algoritme keranjang token dengan batas laju dan ledakan yang dapat dikonfigurasi; Penembolokan Respons menyimpan respons backend selama TTL yang dapat dikonfigurasi untuk mengurangi beban dan latensi backend pada endpoint yang didominasi operasi baca; serta Paket Penggunaan dengan Kunci API menerapkan laju pelambatan dan kuota per klien sehingga memungkinkan kontrol akses bertingkat untuk API mitra dan publik. Selanjutnya, kita akan membahas klaster ECS, definisi tugas, dan layanan untuk beban kerja dalam kontainer.