Üretim LLM Uygulamaları için İstem Mühendisliği
Sistem istemi tasarımı, az örnekli örnekler, çıktı biçimlendirme, yeniden deneme mantığı, maliyet optimizasyonu.
Üretim LLM Uygulamaları için İstem Mühendisliği, CoddyKit'te ücretsiz bir Learn AI with Python dersidir. Bu, 4 dersinin 4. dersidir. Aşağıdan dersin tamamını ücretsiz okuyabilir, sonra tarayıcıda yerleşik kod editörü ve 7/24 yapay zeka koçu ile uygulamalı olarak pratik yapabilirsin. Bu, Learn AI with Python öğrenme yolunun bir parçasıdır ve ilerlemeniz web ve CoddyKit uygulaması arasında senkronize olur. Learn AI with Python kursu toplamda 4 dersten oluşur.
Üretimde İstem Yazma
Gerçek uygulamalarda istemler kod niteliğindedir: yapı, sınama ve güvenilirlik gerektirirler. İyi istem mühendisliği halüsinasyonları azaltır, çıktı biçimini zorunlu kılar ve maliyeti denetler. Bu derste üretimde önem taşıyan teknikler ele alınır.
Sistem İstemi Tasarımı
Sistem istemi, modelin rolünü, üslubunu, kısıtlamalarını ve kurallarını belirler. Açık olun: asistanın ne olduğunu, ne yapması ve ne yapmaması gerektiğini ve yanıtlarının biçimini belirtin. Açık bir sistem istemi, elinizdeki en güçlü yönlendirme aracıdır.
system = (
"You are a support agent for an e-commerce store. "
"Answer only questions about orders and shipping. "
"If asked anything else, politely decline. "
"Keep replies under 3 sentences."
)Az Örnekli İstem Örnekleri
Az örnekli istem, modelin örüntüyü öğrenmesi için ona örnek girdi/çıktı çiftleri göstermektir. Bunları gerçek istekten önce, sırayla kullanıcı/asistan mesajları olarak yerleştirirsiniz.
messages = [
{"role": "system", "content": system},
{"role": "user", "content": "Classify: I love this!"},
{"role": "assistant", "content": "positive"},
{"role": "user", "content": "Classify: This broke instantly."},
{"role": "assistant", "content": "negative"},
{"role": "user", "content": "Classify: It is okay I guess."}
]Az Örnekli İstem Neden İşe Yarar?
Örnekler, niyetinizi tek başına talimatlardan daha iyi netleştirir. Tam çıktı biçimini (tek sözcük, JSON veya etiket) sabitler ve sınıflandırma, ayıklama ve biçimlendirme görevlerinde tutarlılığı büyük ölçüde artırır.
JSON Çıktısını Zorunlu Kılma
Makine tarafından okunabilen yanıtlar için response_format ile JSON modunu isteyin. {"type": "json_object"} kullanıldığında model geçerli JSON üretmekle sınırlandırılır; ardından bu JSON'u güvenle ayrıştırabilirsiniz.
response = client.chat.completions.create(
model="gpt-4o",
messages=messages,
response_format={"type": "json_object"}
)
import json
data = json.loads(response.choices[0].message.content)tiktoken ile Belirteçleri Sayma
Maliyet ve bağlam sınırları belirteçlerle ölçülür. tiktoken kütüphanesi belirteçleri yerel olarak sayar; böylece gönderimden önce bütçe planlayabilirsiniz. pip install tiktoken ile yükleyin.
import tiktoken
enc = tiktoken.encoding_for_model("gpt-4o")
tokens = enc.encode("Hello, how are you?")
print(len(tokens))Belirteç Sayımı Neden Önemlidir?
Her modelin bir bağlam penceresi (azami belirteç sayısı) vardır ve belirteç başına ödeme yaparsınız. Önceden sayım yapmak, geçmişi kısaltmanıza, aşırı büyük girdileri reddetmenize ve çağrı sunucunuzdan ayrılmadan önce maliyeti tahmin etmenize olanak tanır.
def cost_estimate(text, price_per_1k=0.005):
enc = tiktoken.encoding_for_model("gpt-4o")
n = len(enc.encode(text))
return n, n / 1000 * price_per_1kHız Sınırlarını Yönetme
Üretim trafiği hız sınırlarına (HTTP 429) ve geçici hatalara takılır. Çökmek yerine üstel beklemeyle yeniden deneyin. tenacity kütüphanesi bunu tek satırlık bir dekoratörle yapmanızı sağlar.
pip install tenacity
from tenacity import retry, wait_exponential, stop_after_attempttenacity ile Yeniden Deneme
API çağrınıza @retry dekoratörünü uygulayın. Denemeler arasındaki gecikmeyi artırmak için wait_exponential kullanın ve toplam deneme sayısını sınırlamak için stop_after_attempt kullanın. Bu yaklaşım geçici kesintileri sorunsuz biçimde atlatır.
@retry(wait=wait_exponential(min=1, max=30), stop=stop_after_attempt(5))
def ask(prompt):
return client.chat.completions.create(
model="gpt-4o",
messages=[{"role": "user", "content": prompt}]
)Çıktı için JSON Şeması Tanımlama
JSON modunu zorunlu kıldığınızda, anahtarların öngörülebilir olması için istediğiniz tam yapıyı her zaman istemin içinde açıklayın. Şemayı düz metinle açıkça belirtmek ve JSON modunu kullanmak, her seferinde ayrıştırılabilir ve doğrulanabilir sonuçlar elde etmenizi sağlar.
system = (
"Return ONLY JSON with this shape: "
"{\"sentiment\": \"positive|negative|neutral\", "
"\"confidence\": number between 0 and 1}"
)Hepsini Bir Araya Getirme
Üretim istemi işlem hattı şöyledir: katı bir sistem istemi tasarlayın, az örnekli istem örnekleri ekleyin, gerektiğinde JSON çıktısını zorunlu kılın, maliyeti ve bağlamı yönetmek için belirteçleri sayın ve çağrıları yeniden deneme mantığıyla sarın. Bunların tümü LLM özelliklerini güvenilir kılar.
Hızlı Kontrol
Üretimde istem yazma konusundaki bilginizi sınayın.
Özet: Üretim Ortamında İstem Yazımı
Katı sistem istemleri oluşturmayı, az sayıda örnekle davranışı yönlendirmeyi ve response_format JSON moduyla yapılandırılmış yanıtları garanti altına almayı öğrendiniz. Bağlamı ve maliyeti yönetmek için tiktoken ile belirteçleri saydınız; hız sınırlarına dayanıklılık eklemek için tenacity ile yeniden denemeler eklediniz.
Yapay zeka eğitmeniyle Python öğren — ücretsiz
Tarayıcında gerçek kod yaz ve çalıştır, 7/24 yapay zeka eğitmeninden anında yardım al; web'de ya da uygulamada kaldığın yerden devam et.
- Kurslar
- 53
- Dersler
- 225
Sıkça Sorulan Sorular
“Üretim LLM Uygulamaları için İstem Mühendisliği” dersi ücretsiz mi?
Evet — “Üretim LLM Uygulamaları için İstem Mühendisliği” dersin tüm metni burada web'de ücretsiz olarak okunabilir. Etkileşimli olarak pratik yapmak (yerleşik kod editörü ve 7/24 yapay zeka koçu) ve Learn AI with Python kursunun geri kalanını açmak için CoddyKit PRO'ya yükselt. Learn AI with Python kursu toplamda 4 dersten oluşur.
“Üretim LLM Uygulamaları için İstem Mühendisliği” dersinde ne öğreneceğim?
Sistem istemi tasarımı, az örnekli örnekler, çıktı biçimlendirme, yeniden deneme mantığı, maliyet optimizasyonu. Learn AI with Python ile uygulamalı kodu tarayıcıda doğrudan çalıştırarak pratik yaparsın ve 7/24 yapay zeka koçu dersi çalışırken sorularını yanıtlar.
Learn AI with Python öğrenmeye başlamak için deneyim gerekli mi?
Önceden deneyim gerekmez. CoddyKit'te Learn AI with Python, başlangıçtan ileri seviyeye kadar yapılandırıldığı için buradan başlayabilir veya başından başlayıp kendi hızında ilerleme yapabilirsin. Bu, 4 dersinin 4. dersidir.
“Üretim LLM Uygulamaları için İstem Mühendisliği” dersi ne kadar sürer?
Çoğu CoddyKit dersi yaklaşık 5–10 dakika sürer. Her biri kısa ve etkileşimli olduğu için sabit ilerleme yaparsın ve web ile uygulama arasında tam olarak bıraktığın yerden devam edebilirsin.
Bu Learn AI with Python dersinde kod yazıp çalıştırabilir miyim?
Evet. Her Learn AI with Python dersi yerleşik bir kod editörü içerir, bu sayede tarayıcıda gerçek kod yazıp çalıştırabilir ve anlık yapay zeka geri bildirimi alırsın — yerel kurulum gerekli değildir.
Bu kursun tüm dersleri
- OpenAI API: chat.completions ve Akış
- Python'da Anthropic Claude API'si
- LLM'lerle İşlev Çağırma ve Araç Kullanımı
- Üretim LLM Uygulamaları için İstem Mühendisliği