$sort, $limit et $skip dans la chaîne de traitement

Trois étapes du pipeline d’agrégation contrôlent l’ordre et le volume des résultats : $sort trie les documents selon un ou plusieurs champs, $limit ne conserve que les N premiers documents et $skip ignore les N premiers documents. Ensemble, elles permettent d’implémenter le tri et la pagination. Il est essentiel de comprendre où les placer dans le pipeline, car leur position a un impact important sur les performances.

L’étape $sort trie les documents selon les valeurs d’un ou plusieurs champs. Utilisez 1 pour un ordre croissant et -1 pour un ordre décroissant. Lorsque plusieurs champs sont indiqués, les documents sont d’abord triés selon le premier champ, puis selon le deuxième en cas d’égalité, et ainsi de suite, exactement comme pour un tri à plusieurs clés en SQL ou avec find().sort() de MongoDB.

Lorsque $sort est la première étape du pipeline (ou qu’il suit un $match utilisant un index), MongoDB peut utiliser un index pour effectuer le tri, évitant ainsi entièrement un tri en mémoire. Lorsque $sort apparaît après des étapes qui produisent de nouveaux champs, comme $group ou $project, aucun index n’est disponible et MongoDB effectue un tri en mémoire. Les tris en mémoire volumineux (plus de 100 Mo) nécessitent allowDiskUse: true.

$limit ne transmet en aval que les N premiers documents et ignore les autres. Son fonctionnement est simple : transmettez un entier indiquant le nombre maximal de documents à laisser passer. Placer $limit avant des étapes coûteuses comme $lookup réduit considérablement le nombre de jointures ou de recherches effectuées. Demandez-vous toujours : « Puis-je limiter plus tôt ? »

$skip ignore les N premiers documents du flux. C'est l'équivalent, pour les agrégations, de la pagination par décalage : la page 2 commence avec skip 10 (en supposant une limite de 10 éléments par page). $skip vient toujours après $sort afin de produire des résultats cohérents : ignorer des documents non triés donne des pages imprévisibles. Comme avec OFFSET en SQL, $skip est lent pour les décalages importants, car MongoDB doit tout de même traiter tous les documents ignorés.

L'optimiseur d'agrégation de MongoDB détecte lorsqu'une étape $sort est immédiatement suivie d'une étape $limit et les fusionne en un tri des N premiers éléments. Au lieu de trier tous les documents puis d'en supprimer la plupart, MongoDB conserve uniquement les N meilleurs candidats dans une file de priorité pendant le tri, ce qui utilise une mémoire en O(N) plutôt qu'une mémoire en O(total). Cette optimisation est automatique : il vous suffit d'écrire $sort suivi de $limit.

L'optimiseur d'agrégation déplace également automatiquement une étape $match plus tôt dans le pipeline lorsqu'il peut le faire sans risque. Par exemple, si $sort apparaît avant $match sur un champ que $sort n'a pas calculé, l'optimiseur place $match avant $sort afin de réduire le nombre de documents à trier. Vous pouvez observer les modifications de l'optimiseur dans la sortie de explain().

Un endpoint d'API réaliste qui répertorie des produits avec filtrage, tri et pagination combine $match, $sort, $skip et $limit dans le bon ordre. Le schéma est toujours le suivant : filtrer → trier → ignorer → limiter. Cet ordre garantit que MongoDB utilise les index pour le filtrage et, lorsque c'est possible, pour le tri, avant de supprimer les documents inutiles.

Le problème fondamental de $skip est que MongoDB doit tout de même traiter et supprimer chaque document ignoré. À la page 1000, avec 20 éléments par page, MongoDB supprime 19 980 documents avant d'en renvoyer 20. Le traitement devient progressivement plus lent à mesure que les pages sont éloignées. Pour les API de recherche ou de flux accessibles au public, où les utilisateurs dépassent rarement la page 5 à 10, la pagination par décalage convient. Pour une pagination profonde à haute fréquence, la pagination par curseur est nécessaire.

Un $sort en mémoire dans le pipeline d'agrégation est limité à 100 MB par défaut. Si le tri dépasse cette limite, le pipeline échoue avec une erreur QueryExceededMemoryLimitNoDiskUseAllowed. Transmettez { allowDiskUse: true } comme deuxième argument à aggregate() pour autoriser le débordement sur disque. Vous pouvez également appliquer un $match tôt dans le pipeline ou utiliser un index adapté afin de réduire la taille des données à trier.

Un schéma courant pour une API consiste à renvoyer à la fois les résultats paginés et le nombre total en un seul aller-retour vers la base de données. Utilisez $facet pour diviser le pipeline en deux branches parallèles : l'une pour les résultats avec $skip/$limit, l'autre pour $count. Cela évite deux appels d'agrégation distincts et est plus efficace que de compter séparément tous les documents.

Dans cette leçon, vous avez appris que : $sort ordonne les documents et bénéficie de l'utilisation d'index lorsqu'il est placé tôt, que $limit prend les N premiers documents et fusionne avec $sort pour effectuer un tri efficace des N premiers éléments, et que $skip met en œuvre la pagination par décalage, mais devient moins performant avec les grands décalages. Nous allons maintenant étudier des étapes d'agrégation avancées, notamment $lookup pour effectuer des jointures entre collections.