Concepts des chaînes de traitement : étapes, opérateurs et expressions

Le pipeline d’agrégation est le moteur de transformation des données côté serveur de MongoDB. Au lieu de récupérer des documents bruts et de les traiter dans le code de l’application, vous définissez une suite d’étapes qui transforment progressivement le flux de données : filtrage, remodelage, regroupement, calcul et tri, le tout au sein du moteur de base de données. Cela maintient les calculs lourds à proximité des données et réduit considérablement la quantité de données envoyées sur le réseau.

Imaginez le pipeline comme un tapis roulant : chaque document entre dans l’étape 1, y est transformé ou filtré, puis les résultats passent à l’étape 2, ensuite à l’étape 3, et ainsi de suite. À chaque étape, l’ensemble des documents peut diminuer (filtrage), augmenter (décomposition) ou être entièrement remplacé par des résumés calculés (regroupement). Les documents qui ne respectent pas une condition de filtrage sont retirés du pipeline et n’atteignent jamais les étapes suivantes.

Le cadre d’agrégation distingue deux types d’opérateurs : les opérateurs d’étape (préfixés par $), qui définissent le rôle d’une étape du pipeline, comme $match, $group et $project, et les opérateurs d’expression (également préfixés par $), qui calculent des valeurs au sein d’une étape, comme $sum, $avg et $concat. Les étapes sont les blocs de construction ; les expressions sont les calculs qu’elles contiennent.

Dans les expressions d’agrégation, une chaîne précédée de $ est une référence de champ : elle désigne la valeur de ce champ dans le document actuel. Sans ce préfixe, la chaîne est traitée comme une valeur littérale. Cette distinction est essentielle : '$price' signifie « la valeur du champ price », tandis que 'price' signifie la chaîne littérale « price ».

Le pipeline d’agrégation fournit des variables système préfixées par $$, qui donnent accès à des valeurs spéciales : $$ROOT désigne l’intégralité du document actuel, $$NOW correspond à la date et à l’heure actuelles (ce qui est utile dans $project pour les champs calculés), $$CURRENT représente le contexte de chemin du champ du document actuel, et $$REMOVE supprime conditionnellement un champ lorsqu’il est affecté comme valeur.

MongoDB fournit des dizaines d’étapes de pipeline. Les principales à connaître sont : $match (filtrer les documents), $project (remodeler ou calculer les champs), $group (agréger par clé), $sort (ordonner les résultats), $limit et $skip (gérer la pagination), $lookup (effectuer une jointure avec une autre collection) et $unwind (aplatir les tableaux). Maîtrisez-les et vous pourrez exprimer presque toute requête analytique.

L’optimiseur de requêtes de MongoDB réordonne automatiquement certaines étapes du pipeline pour améliorer l’efficacité, par exemple en plaçant $match avant $sort et $group lorsque cela est possible. Toutefois, vous devez toujours placer vous-même $match aussi tôt que possible : un filtrage précoce réduit le nombre de documents que les étapes suivantes doivent traiter et, si $match est la première étape, MongoDB peut utiliser un index pour cette opération.

Les expressions arithmétiques permettent de calculer de nouvelles valeurs à partir de champs existants au sein d’une étape. Les plus courantes sont : $add, $subtract, $multiply, $divide, $mod et $abs. Ces opérateurs fonctionnent avec des références de champs, des valeurs littérales ou le résultat d’autres expressions, ce qui permet d’effectuer des calculs complexes qui nécessitaient auparavant un traitement du côté de l’application.

Les expressions conditionnelles permettent d’utiliser une logique si/sinon dans les étapes d’agrégation. $cond évalue une expression booléenne et renvoie l’une de deux valeurs, comme un opérateur ternaire. $ifNull renvoie une valeur de remplacement lorsqu’un champ est nul ou absent. Ces opérateurs sont essentiels pour gérer les champs facultatifs et calculer des catégories dérivées sans modifier les données enregistrées.

Les opérateurs sur les chaînes permettent de manipuler les champs textuels dans le pipeline : $concat assemble des chaînes, $toUpper/$toLower modifient la casse, $trim/$ltrim/$rtrim suppriment les espaces superflus, $substr extrait une sous-chaîne et $split divise selon un séparateur. Ils sont utiles pour normaliser les données pendant l’agrégation sans avoir à mettre à jour les documents enregistrés.

Les opérateurs de date extraient des composants des champs de date pour les regroupements et les calculs : $year, $month, $dayOfMonth, $hour, $minute, $dayOfWeek et $dateToString. Ils sont indispensables pour les analyses de séries temporelles, comme le « nombre total de commandes par mois » ou le « revenu moyen par jour de la semaine ».

Dans cette leçon, vous avez appris que les étapes du pipeline transforment séquentiellement un flux de documents, que les opérateurs d’étape définissent le rôle d’une étape tandis que les opérateurs d’expression calculent des valeurs au sein des étapes, et que $ préfixe les références de champs tandis que $$ préfixe les variables système. Nous allons maintenant nous concentrer sur $match et $project, les outils essentiels du filtrage et du remodelage.