Optimalisasi Biaya Pemanggilan LLM

Model Bahasa Besar (LLM) memang kuat, tetapi penggunaannya memerlukan biaya. Biaya ini sering kali berkaitan langsung dengan jumlah data yang diproses.

Memahami cara penetapan harga LLM dan menerapkan teknik rekayasa prompt yang cerdas dapat mengurangi pengeluaran operasional Anda secara signifikan.

Sebagian besar penyedia LLM mengenakan biaya berdasarkan token. Token bukan hanya kata; token dapat berupa bagian kata, satu karakter, atau bahkan spasi.

• Token Masukan: Token yang terdapat dalam prompt yang Anda kirimkan kepada LLM.
• Token Keluaran: Token yang dihasilkan LLM sebagai responsnya.

Token masukan dan keluaran sama-sama berkontribusi pada total biaya panggilan API.

Bayangkan seperti ini: setiap karakter dalam prompt Anda dan setiap karakter dalam balasan LLM diubah menjadi token. Jumlah total token tersebut kemudian dikalikan dengan tarif tertentu.

Model LLM dan penyedia yang berbeda memiliki biaya token yang berbeda-beda. Model yang lebih baru dan lebih mumpuni sering kali memiliki tarif per token yang lebih tinggi.

Salah satu cara termudah untuk menghemat biaya adalah membuat prompt Anda sesingkat mungkin. Setiap kata yang tidak perlu menambah jumlah token masukan Anda.

• Hapus kata pengisi: "Please kindly generate a summary for me of the following text." menjadi "Summarize the text below."
• Instruksi langsung: Nyatakan tujuan Anda dengan jelas tanpa kesopanan atau pembukaan yang berlebihan.

Jika Anda bekerja dengan dokumen besar, pertimbangkan untuk meringkas atau mengekstrak informasi utama sebelum mengirimkannya kepada LLM. Anda tidak selalu perlu mengirim seluruh data mentah.

Misalnya, alih-alih mengirim artikel sepanjang 5.000 kata untuk mengajukan satu pertanyaan, Anda dapat terlebih dahulu menggunakan model yang lebih murah dan lebih kecil atau skrip sederhana untuk mengekstrak paragraf yang relevan, lalu memberikan prompt kepada LLM yang lebih besar hanya dengan paragraf-paragraf tersebut.

Prompt yang ambigu atau terbuka dapat menghasilkan respons yang lebih panjang dan umum, sehingga meningkatkan jumlah token keluaran. Jelaskan secara spesifik hal yang Anda inginkan.

Alih-alih: "Tell me about climate change."

Cobalah: "List three common causes of climate change in bullet points."

Hal ini mengarahkan LLM untuk memberikan jawaban yang lebih singkat dan terfokus.

Penyedia LLM menawarkan beragam model dengan kemampuan dan tingkat harga yang berbeda. Menggunakan model paling canggih untuk setiap tugas sering kali berlebihan dan mahal.

• Gunakan model yang lebih kecil, cepat, dan murah untuk tugas sederhana seperti mengekstrak data atau menyusun ulang kalimat.
• Simpan model yang lebih besar dan mahal untuk penalaran kompleks, pembuatan kreatif, atau tugas yang memerlukan pemahaman mendalam.

Banyak API LLM memungkinkan Anda menetapkan parameter max_tokens. Parameter ini secara langsung membatasi panjang maksimum respons LLM.

Meski perintah Anda sudah sempurna, LLM masih mungkin memberikan jawaban yang bertele-tele. Menetapkan max_tokens memastikan Anda tidak membayar keluaran yang terlalu panjang atau tidak relevan.

Mari bandingkan dua perintah untuk tujuan yang sama:

Perintah Mahal: "Halo, asisten AI! Semoga hari Anda menyenangkan. Bisakah Anda berbaik hati memberi tahu saya apa ibu kota Prancis? Saya akan sangat menghargai penjelasan terperinci tentang sejarah dan makna budayanya, mungkin beberapa paragraf."

Perintah Ringkas: "Apa ibu kota Prancis? Jawab hanya dengan nama kotanya."

Perintah ringkas secara signifikan mengurangi token masukan dan potensi token keluaran, sehingga menghemat biaya.

Anda sedang merancang perintah untuk mengekstrak topik utama dari artikel berita yang panjang. Strategi mana yang paling efektif untuk mengurangi biaya API LLM?

Kita telah mempelajari beberapa strategi utama untuk mengoptimalkan biaya API LLM:

• Gunakan Kalimat Singkat: Hapus kata-kata yang tidak perlu dari perintah Anda.
• Pralakukan Data: Ringkas atau saring masukan berukuran besar sebelum mengirimkan perintah.
• Berikan Instruksi Spesifik: Arahkan LLM untuk memberikan jawaban yang singkat dan terarah.
• Pilih dengan Bijak: Pilih model yang sesuai dengan kompleksitas tugas.
• Kontrol Keluaran: Gunakan parameter seperti max_tokens untuk membatasi panjang respons.

Dengan menerapkan teknik-teknik ini, Anda dapat membuat interaksi dengan LLM lebih hemat dan efisien!