LLM Çağrıları için Maliyet Optimizasyonu

Büyük Dil Modelleri (LLM'ler) güçlüdür, ancak kullanımlarının bir maliyeti vardır. Bu maliyet genellikle işlenen veri miktarıyla doğrudan ilişkilidir.

LLM'lerin nasıl fiyatlandırıldığını anlamak ve akıllı istem mühendisliği teknikleri uygulamak, işletme giderlerinizi önemli ölçüde azaltabilir.

Çoğu LLM sağlayıcısı belirteçlere göre ücret alır. Belirteç yalnızca bir sözcük değildir; bir sözcüğün parçası, tek bir karakter veya hatta bir boşluk olabilir.

• Girdi Belirteçleri: Bunlar, LLM'ye gönderdiğiniz istemdeki belirteçlerdir.
• Çıktı Belirteçleri: Bunlar, LLM'nin yanıtı olarak oluşturduğu belirteçlerdir.

Hem girdi hem de çıktı belirteçleri bir API çağrısının toplam maliyetine katkıda bulunur.

Şöyle düşünebilirsiniz: İsteminizdeki her karakter ve LLM'nin yanıtındaki her karakter belirteçlere dönüştürülür. Ardından toplam belirteç sayısı belirli bir ücretle çarpılır.

Farklı LLM modellerinin ve farklı sağlayıcıların belirteç maliyetleri değişir. Daha yeni ve daha yetenekli modellerin belirteç başına ücretleri genellikle daha yüksektir.

Maliyetleri azaltmanın en kolay yollarından biri istemlerinizi olabildiğince öz hâle getirmektir. Gereksiz her sözcük, girdi belirteci sayınıza eklenir.

• Dolgu İfadelerini Kaldırın: "Lütfen aşağıdaki metni benim için özetleyin." ifadesini "Aşağıdaki metni özetleyin." şeklinde kısaltın.
• Doğrudan Talimatlar: Aşırı nezaket veya giriş ifadeleri kullanmadan hedefinizi açıkça belirtin.

Büyük belgelerle çalışıyorsanız bilgileri LLM'ye göndermeden önce özetlemeyi veya temel bilgileri çıkarmayı düşünün. Her zaman ham verilerin tamamını göndermeniz gerekmez.

Örneğin tek bir soru sormak için 5000 sözcüklük bir makale göndermek yerine, ilgili paragrafları çıkarmak için önce daha ucuz ve daha küçük bir model veya basit bir betik kullanabilir, ardından yalnızca bu paragrafları içeren bir istemi daha büyük bir LLM'ye gönderebilirsiniz.

Belirsiz veya ucu açık istemler daha uzun ve genel yanıtlara yol açarak çıktı belirteçlerini artırabilir. Ne istediğiniz konusunda belirli olun.

Şunu yazmak yerine: "Bana iklim değişikliğinden bahsedin."

Şunu deneyin: "İklim değişikliğinin üç yaygın nedenini madde işaretleriyle listeleyin."

Bu, LLM'yi daha kısa ve odaklanmış bir yanıt vermeye yönlendirir.

LLM sağlayıcıları, farklı yeteneklere ve fiyat düzeylerine sahip çeşitli modeller sunar. Her görev için en güçlü modeli kullanmak çoğu zaman gereksiz ve pahalıdır.

• Veri çıkarma veya yeniden ifade etme gibi basit görevler için daha küçük, daha hızlı ve daha ucuz modeller kullanın.
• Daha büyük ve pahalı modelleri karmaşık akıl yürütme, yaratıcı içerik oluşturma veya derin anlayış gerektiren görevler için saklayın.

Birçok LLM API'si, max_tokens parametresini ayarlamanıza olanak tanır. Bu parametre, LLM yanıtının azami uzunluğunu doğrudan sınırlar.

İstemi kusursuz olsa bile bir LLM yine de gereksiz yere uzatabilir. max_tokens değerini ayarlamak, aşırı uzun veya ilgisiz çıktılar için ödeme yapmamanızı sağlar.

Aynı amaç için iki istemi karşılaştıralım:

Pahalı İstem: "Merhaba, yapay zekâ asistanı! Umarım harika bir gün geçiriyorsunuzdur. Fransa'nın başkentinin ne olduğunu lütfen söyleyebilir misiniz? Tarihi ve kültürel önemi hakkında, belki birkaç paragraf uzunluğunda, ayrıntılı bir açıklama yaparsanız çok memnun olurum."

Sade İstem: "Fransa'nın başkenti neresidir? Yalnızca şehir adıyla yanıt verin."

Sade istem, hem girdi hem de olası çıktı belirteçlerini önemli ölçüde azaltarak maliyetten tasarruf sağlar.

LLM API maliyetlerini iyileştirmek için birkaç temel strateji öğrendik:

• Kısa ve Öz Olun: İstemlerinizdeki gereksiz kelimeleri kaldırın.
• Verileri Ön İşleyin: İstem göndermeden önce büyük girdileri özetleyin veya filtreleyin.
• Belirli Olun: LLM'yi kısa ve hedefe yönelik yanıtlar vermesi için yönlendirin.
• Akıllıca Seçin: Görevin karmaşıklığına uygun modeller seçin.
• Çıktıyı Denetleyin: Yanıt uzunluğunu sınırlamak için max_tokens gibi parametreler kullanın.

Bu teknikleri uygulayarak LLM etkileşimlerinizi daha ekonomik ve verimli hâle getirebilirsiniz!