Mise en cache des préfixes d’invites d’OpenAI

La mise en cache des préfixes de messages est une optimisation côté serveur intégrée à l’API d’OpenAI, qui applique automatiquement une réduction aux jetons du préfixe ayant été vus dans une requête récente précédente. Contrairement à la mise en cache au niveau de l’application, qui renvoie une réponse stockée, la mise en cache des préfixes appelle toujours le modèle — mais avec un prix des jetons d’entrée réduit de 50 % pour la partie du préfixe mise en cache. Elle réduit les coûts sans sacrifier la génération d’une réponse à jour.

Les LLM modernes représentent les messages sous forme de caches KV (clé-valeur) dans la mémoire du GPU. Traiter un message consiste à calculer les clés et les valeurs d’attention pour chaque jeton. Si les N premiers jetons de deux requêtes consécutives sont identiques, OpenAI peut réutiliser le cache KV de la première requête et éviter le calcul coûteux pour ces jetons. L’API effectue automatiquement et de manière transparente cette opération : vous payez simplement le tarif inférieur des jetons mis en cache lorsqu’il s’applique.

Après chaque appel à l’API, examinez response.usage.prompt_tokens_details.cached_tokens pour voir combien de jetons d’entrée ont été servis depuis le cache KV. Si cached_tokens > 0, vous avez payé le tarif réduit de 50 % pour ces jetons. La journalisation de cette valeur vous permet de suivre l’efficacité réelle de votre cache et de calculer au fil du temps les économies réalisées grâce à la mise en cache des préfixes.

La mise en cache des préfixes ne s’applique que lorsque les N premiers jetons sont identiques octet par octet à ceux d’une requête récente précédente. Même la modification d’un seul caractère dans le message système invalide le cache. OpenAI met les préfixes en cache par blocs de 128 jetons : le cache s’applique aux blocs complets qui correspondent exactement. La partie de votre message qui varie d’une requête à l’autre doit donc venir après le préfixe long et stable afin de maximiser le nombre de jetons mis en cache.

Pour maximiser les taux de succès du cache, structurez vos messages de sorte que les parties stables apparaissent en premier. Dans un système RAG : (1) le message système avec les instructions et le persona, (2) les documents récupérés, qui ne changent que lorsque la requête évolue de manière importante, (3) l’historique de la conversation, (4) la requête utilisateur tout à la fin. Le message système seul — souvent de 500 à 2 000 jetons — sera généralement mis en cache, ce qui permettra d’économiser 25 à 50 % du coût des jetons d’entrée.

Le cache KV d’OpenAI est conservé en mémoire sur le GPU et dispose d’une politique d’éviction. Les préfixes qui n’ont pas été réutilisés pendant environ 5 à 10 minutes sont supprimés lorsque d’autres requêtes occupent la mémoire du GPU. Les avantages de la mise en cache des préfixes sont donc les plus importants pour les applications à fort débit, qui reçoivent fréquemment des requêtes partageant le même préfixe. Les applications à faible trafic peuvent obtenir peu de succès, car le préfixe est supprimé entre deux requêtes espacées.

En 2025, la mise en cache des préfixes de messages est disponible avec les modèles GPT-4o, GPT-4o-mini, o1 et o3-mini. Le prix des jetons mis en cache correspond à 50 % du prix standard des jetons d’entrée pour la plupart des modèles. La longueur minimale d’un préfixe pouvant être mis en cache est de 1 024 jetons ; les préfixes plus courts ne bénéficient d’aucune réduction. Consultez toujours la page de tarification d’OpenAI pour connaître les tarifs actuels, car ils évoluent avec la maturation de cette fonctionnalité.

Anthropic propose une fonctionnalité similaire appelée mise en cache des messages pour les modèles Claude, mais elle nécessite une activation explicite en indiquant des points de rupture du cache dans le message à l’aide d’un champ cache_control. Contrairement à la mise en cache automatique d’OpenAI, vous indiquez explicitement les parties du message à mettre en cache (jusqu’à 4 points de rupture du cache par requête). Les jetons mis en cache coûtent 10 % du prix standard des jetons d’entrée et sont conservés pendant 5 minutes.

La mise en cache des préfixes et la mise en cache au niveau de l’application sont complémentaires. La mise en cache des préfixes réduit le coût de chaque appel à l’API, mais appelle toujours le LLM. Les caches exacts et sémantiques au niveau de l’application suppriment entièrement les appels à l’API pour les requêtes répétées. Utilisez la mise en cache des préfixes pour toutes les requêtes afin de réduire le coût d’entrée de chaque appel, puis ajoutez une mise en cache applicative par-dessus pour supprimer entièrement les appels des requêtes fréquemment répétées. Ensemble, ces mécanismes peuvent réduire de 60 à 80 % les coûts d’infrastructure liés à l’IA.

Suivez le ratio d’efficacité du cache comme indicateur composite : nombre total de jetons au prix fort divisé par le nombre total de jetons effectivement facturés. Cela prend en compte toutes les couches de mise en cache. Consignez cached_tokens dans chaque réponse de l’API et additionnez ces valeurs chaque semaine. Un système obtenant 50 % de jetons mis en cache sur l’ensemble des appels à l’API réduit effectivement de moitié le coût de ses jetons d’entrée, sans aucune modification du code de l’application pour la mise en cache des préfixes.

La mise en cache des préfixes n’apporte aucun bénéfice dans les cas suivants : (1) les messages courts de moins de 1 024 jetons (longueur minimale pouvant être mise en cache), (2) les préfixes très variables, lorsque le message système change selon l’utilisateur ou la requête, (3) les applications à faible trafic, lorsque le cache KV est supprimé entre les requêtes, ou (4) lorsque vous payez déjà le tarif minimal des jetons. Dans ces situations, concentrez vos efforts d’optimisation sur la mise en cache sémantique au niveau de l’application.

Vérifiez votre compréhension de la mise en cache des préfixes de messages d’OpenAI présentée dans cette leçon.

Dans cette leçon, vous avez appris que la mise en cache des préfixes de messages d’OpenAI applique automatiquement une réduction de 50 % aux jetons d’entrée mis en cache lorsque le préfixe du message correspond à une requête récente précédente, que le contenu stable doit apparaître en premier dans la structure de vos messages (message système, documents, puis requête utilisateur) afin de maximiser le nombre de jetons mis en cache, et qu’Anthropic exige des marqueurs cache_control explicites pour proposer une fonctionnalité similaire sur Claude. Combinez cette fonctionnalité avec la mise en cache au niveau de l’application pour réduire les coûts au maximum. Nous allons maintenant aborder le traitement par lots, le routage des modèles et les tableaux de bord des coûts afin de compléter notre boîte à outils d’optimisation.