Konkruensi, Pembatasan, dan Konkruensi Terreservasi

Lambda melakukan penskalaan dengan menjalankan beberapa eksekusi bersamaan dari fungsi Anda—satu untuk setiap peristiwa yang berlangsung secara bersamaan. Ketika 100 permintaan tiba pada waktu yang sama, Lambda menjalankan 100 instans paralel dari fungsi Anda. AWS mengelola infrastruktur yang mendasarinya secara otomatis. batas konkurensi tingkat akun adalah 1.000 eksekusi bersamaan per Wilayah secara default (batas lunak, yang dapat ditingkatkan melalui permintaan kuota layanan).

Konkurensi dihitung sebagai berikut: Konkurensi = Permintaan per detik × Durasi rata-rata dalam detik. Jika fungsi Anda menangani 500 permintaan/detik dan setiap permintaan membutuhkan waktu 0,2 detik, Anda memerlukan 100 eksekusi bersamaan. Memahami rumus ini membantu Anda memperkirakan apakah batas akun Anda mencukupi dan apakah Anda perlu meminta peningkatan kuota sebelum acara dengan lalu lintas tinggi.

Ketika Lambda menerima lebih banyak permintaan daripada yang diizinkan oleh batas konkurensinya, Lambda akan membatasi permintaan berlebih tersebut. Untuk pemanggilan sinkron (misalnya, API Gateway), permintaan yang dibatasi segera menerima 429 TooManyRequestsException yang harus ditangani oleh pemanggil. Untuk pemanggilan asinkron (misalnya, peristiwa S3), Lambda mengantrekan peristiwa dan mencoba kembali hingga 6 jam sebelum mengirimkannya ke antrean surat mati.

Konkurensi yang Dicadangkan menjamin jumlah eksekusi bersamaan tertentu untuk fungsi tertentu dengan mencadangkan jumlah tersebut dari kumpulan akun. Fitur ini memiliki dua tujuan: (1) menjamin kapasitas—fungsi akan selalu memiliki eksekusi sebanyak itu meskipun fungsi lain sedang menggunakan kuota akun; (2) membatasi konkurensi—fungsi tidak akan pernah melebihi jumlah yang dicadangkan, sehingga dependensi hilir terlindung dari beban berlebih.

Skenario penting dalam ujian: fungsi Lambda menulis ke basis data RDS yang memiliki batas 50 koneksi. Tanpa kontrol konkurensi, Lambda dapat meningkatkan skala hingga ratusan eksekusi bersamaan dan menghabiskan semua koneksi basis data, sehingga menyebabkan kesalahan pada setiap fungsi. Menetapkan konkurensi yang dicadangkan sebesar 40 memastikan Lambda tidak pernah melebihi 40 koneksi basis data secara bersamaan, sehingga melindungi instans RDS. Ini adalah pola penting untuk setiap fungsi Lambda yang memanggil layanan dengan jumlah koneksi terbatas.

Konkurensi yang Disediakan melakukan inisialisasi awal terhadap sejumlah lingkungan eksekusi Lambda sehingga lingkungan tersebut siap merespons segera tanpa cold start. Hal ini penting untuk API yang sensitif terhadap latensi, yang tidak dapat menerima cold start bahkan selama 100 md. Anda membayar tarif per jam untuk konkurensi yang disediakan meskipun lingkungan tersebut sedang tidak digunakan, jadi gabungkan fitur ini dengan Auto Scaling untuk menyesuaikan tingkat yang disediakan berdasarkan pola lalu lintas yang diperkirakan.

Keduanya sering tertukar, tetapi memiliki tujuan yang berbeda. Konkurensi yang Dicadangkan membatasi dan menjamin alokasi kapasitas dari kumpulan akun—fitur ini TIDAK menghilangkan cold start. Konkurensi yang Disediakan memanaskan lingkungan eksekusi terlebih dahulu untuk menghilangkan cold start—fitur ini TIDAK mencegah fungsi lain menggunakan kumpulan yang sama. Gunakan konkurensi yang dicadangkan untuk membatasi throughput; gunakan konkurensi yang disediakan untuk meningkatkan latensi. Keduanya dapat digunakan bersama pada fungsi yang sama.

Lambda tidak meningkatkan skala hingga konkurensi penuh secara seketika. Terdapat batas ledakan tingkat akun (laju penskalaan awal) yang berbeda-beda menurut Wilayah—biasanya 3.000 ledakan awal, lalu 500 eksekusi tambahan per menit hingga batas tercapai. Untuk aplikasi yang mengantisipasi lonjakan besar secara tiba-tiba (lalu lintas viral, penjualan kilat), gunakan Konkurensi yang Disediakan untuk memanaskan terlebih dahulu lingkungan yang cukup agar batas ledakan tidak menyebabkan pembatasan selama lonjakan awal.

Pantau konkurensi Lambda dengan metrik CloudWatch utama berikut:

• ConcurrentExecutions: jumlah instans yang sedang berjalan
• Throttles: jumlah pemanggilan yang dibatasi (seharusnya nol dalam sistem yang sehat)
• UnreservedConcurrentExecutions: kumpulan tingkat akun yang tidak dicadangkan
• ProvisionedConcurrencyUtilization: jumlah kapasitas yang disediakan dan sedang digunakan

Atur alarm pada Throttles agar Anda menerima pemberitahuan sebelum pembatasan berdampak pada pengguna akhir.

Saat merancang sistem yang memanggil Lambda secara sinkron (API Gateway, panggilan langsung SDK), terapkan backoff eksponensial dengan jitter pada pemanggil. SDK AWS memiliki logika percobaan ulang bawaan, tetapi untuk Lambda yang berada di belakang API Gateway, Anda harus menangani respons 429 dalam aplikasi klien. Untuk Lambda yang dipicu SQS, layanan SQS itu sendiri menangani percobaan ulang; atur Penerimaan Maksimum pada antrean sumber dengan tepat dan konfigurasikan DLQ untuk percobaan ulang yang telah habis.

Untuk Aliran Data Kinesis dan Aliran DynamoDB, konkurensi Lambda dibatasi oleh jumlah pecahan (Kinesis) atau partisi (DynamoDB). Setiap pecahan/partisi diproses tepat oleh satu eksekusi Lambda bersamaan. Jika Anda memiliki 10 pecahan Kinesis, Lambda menjalankan hingga 10 eksekusi bersamaan untuk pemicu tersebut. Artinya, masalah pembatasan pada pemicu berbasis aliran biasanya diselesaikan dengan menambah jumlah pecahan, bukan dengan menaikkan batas konkurensi.

Uji pemahaman Anda tentang konsep AWS Solutions Architect (SAA-C03) dari pelajaran ini.

Dalam pelajaran ini Anda mempelajari bahwa Konkurensi yang Dicadangkan menjamin sekaligus membatasi eksekusi bersamaan suatu fungsi untuk melindungi layanan hilir dan memastikan ketersediaan; Konkurensi yang Disediakan melakukan inisialisasi awal lingkungan untuk menghilangkan cold start pada beban kerja yang sensitif terhadap latensi; dan pembatasan muncul sebagai kesalahan 429 pada pemanggilan sinkron serta percobaan ulang yang diantrekan pada pemanggilan asinkron—pantau menggunakan metrik CloudWatch Throttles. Selanjutnya, kita akan membahas Lapisan Lambda dan paket penerapan untuk mengelola dependensi berukuran besar.