Sesuaikan Ukuran Instans dan Replika

Sebagian besar biaya penyajian ML berasal dari instans yang hanya terpakai sebagian. Penyesuaian ukuran berarti mencocokkan perangkat keras dan jumlah replika dengan beban nyata Anda, bukan dengan kekhawatiran terhadap kondisi terburuk.

Anda tidak dapat menyesuaikan ukuran sesuatu yang belum diukur. Mulailah dengan mengamati utilisasi CPU dan memori yang sebenarnya selama hari dengan lalu lintas normal.

Memilih instans raksasa untuk berjaga-jaga memang terasa aman, tetapi menghabiskan uang setiap jam. Utilisasi rendah yang terus-menerus adalah tanda paling jelas dari penyediaan berlebih.

Jika rata-rata CPU berada di sekitar 15 persen, instans Anda terlalu besar. Targetkan utilisasi sasaran yang sehat dengan ruang cadangan untuk lonjakan singkat.

Penskalaan vertikal memberikan mesin yang lebih besar kepada satu replika. Penskalaan horizontal menambahkan lebih banyak replika kecil, yang biasanya menangani lalu lintas yang melonjak dengan lebih baik.

Di Kubernetes, permintaan sumber daya Anda memberi tahu penjadwal jumlah yang benar-benar dibutuhkan setiap replika. Tetapkan berdasarkan penggunaan yang diamati, bukan perkiraan kasar.

Terlalu sedikit replika berarti permintaan mengantre dan respons menjadi lambat. Terlalu banyak berarti pod menganggur yang tetap harus Anda bayar. Sesuaikan replika dengan beban serentak puncak Anda.

Horizontal Pod Autoscaler menambahkan replika saat beban meningkat dan menghapusnya saat beban menurun, sehingga Anda tidak perlu membayar kapasitas di luar jam sibuk.

Jumlah replika minimum menjaga beberapa pod tetap siap sehingga lalu lintas tidak pernah tiba pada layanan kosong yang harus memulai dari awal. Inilah kompromi antara biaya dan ketersediaan.

Instans GPU berbiaya berkali-kali lipat dibandingkan CPU. Minta GPU hanya ketika model Anda benar-benar membutuhkannya, dan padatkan pekerjaan agar GPU tidak pernah menganggur.

Pola lalu lintas berubah selama berminggu-minggu dan berbulan-bulan. Tinjau kembali jenis instans dan jumlah replika secara terjadwal agar armada Anda tetap sesuai.

Anda mengukur utilisasi, memilih antara penskalaan vertikal dan horizontal, menetapkan permintaan, serta menambahkan penskalaan otomatis. Kini armada Anda sesuai dengan permintaan nyata. 💸