Inferensi Online Waktu Nyata

Inferensi online menjawab satu permintaan setiap kali permintaan itu tiba, sehingga pengguna atau layanan segera mendapatkan prediksi terbaru. ⚡

Berbeda dari batch, di sini seseorang menunggu di sisi lain. Prediksi harus kembali dalam hitungan milidetik, bukan menit, agar terasa responsif.

Model online berada di balik titik akhir HTTP. Klien mengirim fitur dalam permintaan dan menerima prediksi dalam respons.

Setiap pemanggilan membawa input untuk satu kasus. Layanan menjalankan predict pada input tersebut dan mengembalikan skor, lalu menangani pemanggil berikutnya.

Karena fitur tiba bersama permintaan, skor mencerminkan keadaan terbaru, sehingga sangat cocok ketika input berubah dari detik ke detik.

Angka yang Anda pantau adalah latensi: waktu dari permintaan hingga respons. Orang sering melacak persentil ke-95 dan ke-99 yang lambat, bukan hanya rata-ratanya.

Memuat model pada setiap permintaan akan lambat. Sebagai gantinya, muat model sekali saat pengaktifan dan gunakan kembali untuk semua pemanggilan yang masuk.

Banyak pengguna mengakses layanan pada waktu yang sama. Layanan harus menangani permintaan secara bersamaan, sering kali dengan beberapa pekerja, agar latensi tetap rendah saat beban tinggi.

Pemeriksaan penipuan saat pembayaran, pemeringkatan pencarian, dan widget rekomendasi semuanya membutuhkan jawaban seketika, sehingga berjalan sebagai inferensi online.

Layanan online harus tetap berjalan dan siap sepanjang waktu. Jejak penggunaan yang selalu aktif ini lebih mahal daripada pekerjaan yang berjalan lalu berhenti.

Pilih online ketika input belum diketahui sebelumnya dan pengguna membutuhkan jawaban terbaru sekarang, dengan menerima biaya serta pemeliharaan operasional yang lebih besar.

Inferensi online menyediakan satu prediksi terbaru untuk setiap permintaan melalui API, mengutamakan latensi rendah, dan lebih mahal karena harus selalu aktif.