LLM Yanıtlarını Kullanıcılara Akış Halinde Gönderme
Belirteçleri kullanıcılarınıza gerçek zamanlı olarak iletin. Akışın nasıl çalıştığını, algılanan gecikmeyi neden iyileştirdiğini ve akış halindeki bir tamamlamayı kodda nasıl tüketeceğinizi öğrenin.
LLM Yanıtlarını Kullanıcılara Akış Halinde Gönderme, CoddyKit'te ücretsiz bir Prompt Engineering & LLM Optimization for Developers dersidir. Bu, 4 dersinin 4. dersidir. Aşağıdan dersin tamamını ücretsiz okuyabilir, sonra tarayıcıda yerleşik kod editörü ve 7/24 yapay zeka koçu ile uygulamalı olarak pratik yapabilirsin. Bu, Prompt Engineering & LLM Optimization for Developers öğrenme yolunun bir parçasıdır ve ilerlemeniz web ve CoddyKit uygulaması arasında senkronize olur. Prompt Engineering & LLM Optimization for Developers kursu toplamda 4 dersten oluşur.
Bu dersin bazı bölümleri henüz çevrilmemiş olup İngilizce olarak gösterilmektedir.
Why Stream?
By default an LLM call returns the entire response only after generation finishes. For long answers this feels slow.
Streaming sends tokens as they are produced, so the user sees text appear word-by-word — drastically improving perceived responsiveness.
Time to First Token
Two latency numbers matter:
- TTFT (time to first token): how long until the first word appears
- Total time: until the full answer is ready
Streaming barely changes total time but makes TTFT the number your users actually feel.
Server-Sent Events
Most LLM APIs stream over Server-Sent Events (SSE): a long-lived HTTP response where each chunk is a small JSON event prefixed with data:.
The stream ends with a special [DONE] marker.
Enabling Streaming
You opt in by setting a flag on the request. The API then returns an iterable stream instead of a single object.
const stream = await client.chat.completions.create({
model: "gpt-4o-mini",
messages: messages,
stream: true
});Reading Chunks
Each chunk carries a delta — the new piece of text. You concatenate deltas to rebuild the full message.
let full = "";
for await (const chunk of stream) {
const piece = chunk.choices[0].delta.content || "";
full += piece;
process.stdout.write(piece);
}Updating the UI
On the frontend you append each delta to the visible message. A simple approach: keep state and re-render on every token.
function onToken(token, setText) {
setText(prev => prev + token);
}Handling the Done Signal
When the stream closes, finalize: stop the typing indicator, persist the full message, and re-enable the input box.
stream.on("end", () => {
saveMessage(full);
hideTypingIndicator();
});Errors Mid-Stream
A stream can fail halfway. Always wrap consumption in try/catch and show whatever partial text you already received rather than discarding it.
try {
for await (const c of stream) { /* ... */ }
} catch (e) {
showPartial(full);
reportError(e);
}Cancellation
Users may want to stop a long answer. Pass an AbortController signal so you can cancel the request and free server resources.
const controller = new AbortController();
client.chat.completions.create({ ...opts, signal: controller.signal });
// later
controller.abort();Streaming with Tools
When the model is calling a function, tool-call arguments also arrive as deltas. Buffer them until the call is complete before executing the tool.
Cost & Token Counting
Streaming does not change cost — you still pay per token. To count usage, sum the tokens you received, or request a final usage event if the API supports it.
Quick Check
Test your streaming knowledge.
Recap
You learned to stream LLM responses: opt in with a stream flag, read incremental delta chunks over SSE, update the UI per token, handle the done signal, manage errors and cancellation, and remember streaming improves perceived latency without changing cost.
Sıkça Sorulan Sorular
“LLM Yanıtlarını Kullanıcılara Akış Halinde Gönderme” dersi ücretsiz mi?
Evet — “LLM Yanıtlarını Kullanıcılara Akış Halinde Gönderme” dersin tüm metni burada web'de ücretsiz olarak okunabilir. Etkileşimli olarak pratik yapmak (yerleşik kod editörü ve 7/24 yapay zeka koçu) ve Prompt Engineering & LLM Optimization for Developers kursunun geri kalanını açmak için CoddyKit PRO'ya yükselt. Prompt Engineering & LLM Optimization for Developers kursu toplamda 4 dersten oluşur.
“LLM Yanıtlarını Kullanıcılara Akış Halinde Gönderme” dersinde ne öğreneceğim?
Belirteçleri kullanıcılarınıza gerçek zamanlı olarak iletin. Akışın nasıl çalıştığını, algılanan gecikmeyi neden iyileştirdiğini ve akış halindeki bir tamamlamayı kodda nasıl tüketeceğinizi öğrenin. Prompt Engineering & LLM Optimization for Developers ile uygulamalı kodu tarayıcıda doğrudan çalıştırarak pratik yaparsın ve 7/24 yapay zeka koçu dersi çalışırken sorularını yanıtlar.
Prompt Engineering & LLM Optimization for Developers öğrenmeye başlamak için deneyim gerekli mi?
Önceden deneyim gerekmez. CoddyKit'te Prompt Engineering & LLM Optimization for Developers, başlangıçtan ileri seviyeye kadar yapılandırıldığı için buradan başlayabilir veya başından başlayıp kendi hızında ilerleme yapabilirsin. Bu, 4 dersinin 4. dersidir.
“LLM Yanıtlarını Kullanıcılara Akış Halinde Gönderme” dersi ne kadar sürer?
Çoğu CoddyKit dersi yaklaşık 5–10 dakika sürer. Her biri kısa ve etkileşimli olduğu için sabit ilerleme yaparsın ve web ile uygulama arasında tam olarak bıraktığın yerden devam edebilirsin.
Bu Prompt Engineering & LLM Optimization for Developers dersinde kod yazıp çalıştırabilir miyim?
Evet. Her Prompt Engineering & LLM Optimization for Developers dersi yerleşik bir kod editörü içerir, bu sayede tarayıcıda gerçek kod yazıp çalıştırabilir ve anlık yapay zeka geri bildirimi alırsın — yerel kurulum gerekli değildir.
Bu kursun tüm dersleri
- Getirimle Zenginleştirilmiş Üretim (RAG)
- İşlev Çağırma ve Araç Kullanımı
- Basit LLM Aracıları Oluşturma
- LLM Yanıtlarını Kullanıcılara Akış Halinde Gönderme