การส่งการตอบกลับแบบสตรีม (SSE)

เหตุใดจึงต้องสตรีม

เหตุการณ์ที่ส่งจากเซิร์ฟเวอร์ (SSE)

การสตรีมด้วย OpenAI

stream = client.chat.completions.create(
    model='gpt-4o-mini',
    messages=messages,
    stream=True,
)

for chunk in stream:
    delta = chunk.choices[0].delta.content
    if delta:
        print(delta, end='', flush=True)

การรวบรวมการตอบกลับทั้งหมด

buf = []
for chunk in stream:
    delta = chunk.choices[0].delta.content or ''
    buf.append(delta)
    print(delta, end='', flush=True)

full_text = ''.join(buf)
messages.append({'role': 'assistant', 'content': full_text})

การสตรีมด้วย Anthropic

with client.messages.stream(
    model='claude-sonnet-4-5',
    max_tokens=1024,
    messages=messages,
) as stream:
    for text in stream.text_stream:
        print(text, end='', flush=True)

    final = stream.get_final_message()
    print('\ndone, tokens:', final.usage.output_tokens)

การสตรีมการเรียกใช้เครื่องมือ

for chunk in stream:
    delta = chunk.choices[0].delta
    if delta.tool_calls:
        for tc in delta.tool_calls:
            # tc.function.name and tc.function.arguments arrive as partial strings
            pass

การควบคุมแรงดันย้อนกลับและการยกเลิก

try:
    for chunk in stream:
        if request_was_cancelled():
            stream.close()
            break
finally:
    stream.close()

การสตรีมผ่านเว็บเซิร์ฟเวอร์

from fastapi.responses import StreamingResponse

def token_generator():
    for chunk in stream:
        delta = chunk.choices[0].delta.content or ''
        yield f'data: {delta}\n\n'

return StreamingResponse(token_generator(), media_type='text/event-stream')

การบัฟเฟอร์ประโยค

buf = ''
for chunk in stream:
    buf += chunk.choices[0].delta.content or ''
    while '. ' in buf:
        sentence, buf = buf.split('. ', 1)
        speak(sentence + '.')

การแยกวิเคราะห์ JSON ที่สตรีม

เมตริกเวลาแฝง: TTFT และ TPS

เหตุใดจึงต้องสตรีม

สรุปทบทวน