Diffusion des réponses (SSE)
Diffusez la sortie du LLM jeton par jeton via les événements envoyés par le serveur afin d’obtenir des interfaces réactives et d’indiquer la progression.
Diffusion des réponses (SSE) est une leçon AI Agents gratuite sur CoddyKit. Ceci est la leçon 3 sur 4. Tu peux lire la leçon complète ci-dessous gratuitement — puis la pratiquer en direct dans le navigateur avec un éditeur de code intégré et un tuteur IA 24/7. Elle fait partie du parcours d'apprentissage AI Agents, et ta progression se synchronise sur le web et l'application CoddyKit. Le cours AI Agents comprend 4 leçons au total.
Pourquoi diffuser en continu ?
Sans diffusion en continu, vous devez attendre la réponse complète avant d'afficher quoi que ce soit. Avec une réponse de 50 jetons qui prend 5 secondes, l'utilisateur ne voit rien pendant 5 secondes.
La diffusion en continu affiche les jetons dès leur arrivée : le temps total est identique, mais l'expérience utilisateur semble instantanée.
Événements envoyés par le serveur (SSE)
OpenAI et Anthropic diffusent leurs réponses via SSE : un protocole HTTP unidirectionnel dans lequel le serveur envoie des événements au format data: {...}\n\n.
La plupart des SDK masquent SSE derrière une interface d'itération.
Diffusion en continu avec OpenAI
Définissez stream=True et parcourez la réponse :
stream = client.chat.completions.create(
model='gpt-4o-mini',
messages=messages,
stream=True,
)
for chunk in stream:
delta = chunk.choices[0].delta.content
if delta:
print(delta, end='', flush=True)Collecte de la réponse complète
Accumulez les deltas pour obtenir la chaîne finale :
buf = []
for chunk in stream:
delta = chunk.choices[0].delta.content or ''
buf.append(delta)
print(delta, end='', flush=True)
full_text = ''.join(buf)
messages.append({'role': 'assistant', 'content': full_text})Diffusion en continu avec Anthropic
Même principe, avec une API légèrement différente :
with client.messages.stream(
model='claude-sonnet-4-5',
max_tokens=1024,
messages=messages,
) as stream:
for text in stream.text_stream:
print(text, end='', flush=True)
final = stream.get_final_message()
print('\ndone, tokens:', final.usage.output_tokens)Diffusion en continu des appels d'outils
Les appels d'outils sont eux aussi diffusés en continu. Avec OpenAI, le nom de la fonction et les arguments arrivent par morceaux :
for chunk in stream:
delta = chunk.choices[0].delta
if delta.tool_calls:
for tc in delta.tool_calls:
# tc.function.name and tc.function.arguments arrive as partial strings
passRétropression et annulation
Si l'utilisateur ferme la page, interrompez la diffusion pour éviter de continuer à consommer des jetons :
try:
for chunk in stream:
if request_was_cancelled():
stream.close()
break
finally:
stream.close()Diffusion en continu via un serveur web
Avec FastAPI, utilisez StreamingResponse :
from fastapi.responses import StreamingResponse
def token_generator():
for chunk in stream:
delta = chunk.choices[0].delta.content or ''
yield f'data: {delta}\n\n'
return StreamingResponse(token_generator(), media_type='text/event-stream')Mise en mémoire tampon des phrases
Pour la synthèse vocale ou l'affichage par blocs, mettez le texte en mémoire tampon jusqu'à la fin d'une phrase :
buf = ''
for chunk in stream:
buf += chunk.choices[0].delta.content or ''
while '. ' in buf:
sentence, buf = buf.split('. ', 1)
speak(sentence + '.')Analyse du JSON diffusé
Pour les sorties JSON, vous ne pouvez pas analyser le contenu au milieu de la diffusion. Voici vos options :
- Mettre toute la sortie en mémoire tampon, puis l'analyser une seule fois
- Utiliser un analyseur JSON en continu (
ijson) pour émettre les champs dès qu'ils sont complets
Métriques de latence : TTFT et TPS
- TTFT — délai avant le premier jeton (réactivité perçue)
- TPS — jetons par seconde (débit)
La diffusion en continu optimise le TTFT, pas le temps total. Visez un TTFT inférieur à 500 ms pour une bonne expérience de conversation.
Pourquoi diffuser en continu ?
Quel est le principal avantage de la diffusion en continu ?
Récapitulatif
La diffusion en continu améliore l'expérience utilisateur, mais pas la vitesse. Implémentez-la dans tout agent qui échange avec une personne en temps réel.
Apprends AI Agents avec un tuteur IA — gratuit
Écris et exécute du vrai code dans ton navigateur, obtiens de l'aide instantanée d'un tuteur IA disponible 24h/24, et reprends là où tu t'es arrêté sur le web ou dans l'app.
- Cours
- 60
- Leçons
- 239
Questions Fréquemment Posées
La leçon « Diffusion des réponses (SSE) » est-elle gratuite ?
Oui — le texte complet de « Diffusion des réponses (SSE) » est gratuit à lire ici sur le web. Pour la pratiquer de manière interactive (un éditeur de code intégré et un tuteur IA 24/7) et déverrouiller le reste du cours AI Agents, passe à CoddyKit PRO. Le cours AI Agents comprend 4 leçons au total.
Qu'est-ce que j'apprendrai dans « Diffusion des réponses (SSE) » ?
Diffusez la sortie du LLM jeton par jeton via les événements envoyés par le serveur afin d’obtenir des interfaces réactives et d’indiquer la progression. Tu pratiques AI Agents avec du code pratique que tu exécutes directement dans le navigateur, et un tuteur IA 24/7 répond à tes questions au fur et à mesure que tu avances dans la leçon.
Dois-je avoir de l'expérience pour commencer AI Agents ?
Aucune expérience préalable n'est requise. AI Agents sur CoddyKit est structuré pour les débutants jusqu'aux apprenants avancés, donc tu peux commencer ici ou depuis le début et avancer à ton rythme. Ceci est la leçon 3 sur 4.
Combien de temps prend la leçon « Diffusion des réponses (SSE) » ?
La plupart des leçons CoddyKit prennent environ 5–10 minutes. Chacune est courte et interactive, tu progresses régulièrement et tu repiques exactement où tu t'es arrêté sur le web et l'app.
Peux-tu écrire et exécuter du code dans cette leçon AI Agents ?
Oui. Chaque leçon AI Agents inclut un éditeur de code intégré, tu écris et exécutes du vrai code directement dans ton navigateur et tu reçois des retours IA instantanés — aucune configuration locale requise.
Toutes les leçons de ce cours
- Appeler l’API OpenAI : chat.completions
- Appeler l’API Anthropic : messages
- Diffusion des réponses (SSE)
- Maîtriser les coûts : comptage des jetons et budgets