Pola Arsitektur Sistem Kecerdasan Buatan

Sistem AI produksi jauh lebih dari sekadar berkas model. Sistem ini mencakup alur data, penyimpanan fitur, infrastruktur penyajian, dan pemantauan. Pola arsitektur adalah rancangan yang telah teruji untuk merangkai bagian-bagian ini secara andal.

Sistem AI sering memerlukan keduanya:

• Pemrosesan berkelompok untuk memperoleh hasil yang akurat dan menyeluruh dari data historis
• Pemrosesan waktu nyata untuk memperoleh hasil terbaru dengan latensi rendah dari peristiwa baru

Menyelaraskan keduanya merupakan tantangan desain yang berulang.

Arsitektur Lambda menjawab kebutuhan ini dengan dua lapisan yang berjalan secara paralel: lapisan berkelompok yang menghitung ulang tampilan akurat dari seluruh data, dan lapisan cepat yang menangani data terbaru dengan latensi rendah. Lapisan penyajian menggabungkan keduanya untuk kueri.

Lapisan berkelompok memproses ulang seluruh kumpulan data secara berkala untuk menghasilkan hasil yang menjadi acuan dan benar, misalnya penghitungan ulang fitur setiap malam. Lapisan ini akurat tetapi memiliki latensi tinggi, sehingga tidak dapat mencerminkan peristiwa yang terjadi dalam beberapa detik terakhir.

Lapisan cepat memproses data aliran secara mendekati waktu nyata untuk mengisi kesenjangan sejak proses berkelompok terakhir. Lapisan ini mengorbankan sebagian akurasi demi kesegaran, dan hasilnya pada akhirnya digantikan oleh proses berkelompok berikutnya.

Penyimpanan fitur adalah sistem terpusat untuk mengelola fitur pembelajaran mesin. Sistem ini memecahkan masalah penting: pelatihan dan penyajian harus menggunakan definisi fitur yang sama, atau model akan melihat masukan yang berbeda dalam produksi dibandingkan dengan data yang digunakan saat pelatihan (ketidakselarasan pelatihan-penyajian).

Penyimpanan luring menyimpan nilai fitur historis dalam jumlah besar, biasanya sebagai berkas parquet di danau data atau gudang data. Penyimpanan ini mendukung pelatihan dan pemberian skor secara berkelompok, ketika kapasitas pemrosesan lebih penting daripada latensi.

Penyimpanan daring menyimpan nilai fitur terbaru dalam basis data berlatensi rendah seperti Redis. Saat penyajian, model mengambil fitur dari sini dalam hitungan milidetik, menggunakan definisi yang sama seperti penyimpanan luring.

Penyimpanan fitur menjamin bahwa fitur yang dihitung untuk pelatihan (luring) cocok dengan yang dibaca oleh penyajian (daring). Konsistensi ini menghilangkan salah satu sumber utama kesalahan produksi yang tidak terlihat dan merupakan nilai inti penyimpanan fitur.

Sebelum mempercayai model baru dalam produksi, jalankan model tersebut dalam mode bayangan: model menerima lalu lintas nyata dan membuat prediksi, tetapi prediksi tersebut dicatat, bukan disajikan kepada pengguna. Anda dapat membandingkannya dengan model saat ini tanpa risiko apa pun bagi pengguna.

Setelah mode bayangan menunjukkan bahwa model baru akurat dan stabil pada lalu lintas langsung, Anda mempromosikan model tersebut, sering kali melalui peluncuran canary. Mode bayangan ditambah canary memberikan jalur bertahap yang aman dari model terlatih menuju lalu lintas produksi penuh.

Ujilah pengetahuan Anda tentang arsitektur.

Anda telah mempelajari pola arsitektur sistem AI:

• Arsitektur Lambda: lapisan berkelompok (akurat) ditambah lapisan cepat (terbaru)
• Penyimpanan fitur: parquet luring untuk pelatihan, Redis daring untuk penyajian, dengan definisi yang konsisten
• Mode bayangan memvalidasi model baru pada lalu lintas nyata sebelum dipromosikan