Agrégations par fenêtre sur des séries temporelles

Une fonction de fenêtre calcule une valeur pour chaque document d’un ensemble de résultats en examinant une plage environnante (la « fenêtre ») de documents, sans les regrouper comme le fait $group. Chaque document d’entrée produit exactement un document de sortie, mais la valeur calculée reflète l’agrégation effectuée sur la fenêtre. MongoDB a ajouté les fonctions de fenêtre via l’étape $setWindowFields dans la version 5.0.

$setWindowFields est l’étape d’agrégation qui active les fonctions de fenêtre dans MongoDB. Elle accepte une expression partitionBy (semblable à PARTITION BY en SQL), un objet output définissant de nouveaux champs et leurs opérateurs de fenêtre, ainsi qu’un document sortBy qui établit l’ordre au sein de chaque partition. Cette combinaison est idéale pour les séries temporelles : partitionner par capteur, trier par horodatage, puis calculer des totaux cumulés ou des moyennes mobiles.

Les limites d’une fenêtre peuvent être spécifiées en fonction de la position des documents par rapport au document actuel. Les mots-clés spéciaux 'unbounded' (depuis le premier document de la partition) et 'current' (le document actuel) définissent des limites courantes. Vous pouvez également utiliser des nombres entiers : [-3, 0] signifie les 3 documents précédents et le document actuel, ce qui convient parfaitement à une moyenne mobile sur 4 points.

Pour les données de séries temporelles, les fenêtres fondées sur une plage sont plus naturelles que celles fondées sur les documents, car les données peuvent arriver à des intervalles irréguliers. Les fenêtres fondées sur une plage utilisent une unité (les millisecondes par défaut) et une quantité relative à la valeur de tri du document actuel. Par exemple, une fenêtre glissante d’une heure vers le passé serait { range: [-3600000, 0], unit: 'millisecond' }. Les unités temporelles dédiées telles que 'hour', 'minute' et 'second' sont également prises en charge.

Un total cumulé (ou somme cumulative) se calcule en définissant la fenêtre de 'unbounded' à 'current'. Le champ de sortie de chaque document contient la somme de toutes les valeurs depuis le premier document de la partition jusqu'au document courant inclus. Cela est utile pour calculer la consommation d'énergie cumulée, le nombre total de transactions ou le volume d'octets transférés au fil du temps.

$rank et $denseRank sont des opérateurs de fenêtre qui attribuent des positions aux documents de leur partition, selon l'ordre défini par l'expression sortBy. $rank laisse des écarts dans la numérotation en cas d'égalité (1, 2, 2, 4…), contrairement à $denseRank (1, 2, 2, 3…). Ils sont utiles pour classer les capteurs selon leur dernière mesure ou identifier les N appareils les plus performants.

$documentNumber attribue à chaque document de sa partition un entier séquentiel commençant à 1, selon l'ordre défini par sortBy. Contrairement à $rank, il ne produit jamais d'égalité : chaque document reçoit un numéro unique. Cela est pratique pour la pagination, la numérotation par lots des exportations ou l'étiquetage d'événements séquentiels dans un flux de données de capteurs.

L'opérateur $shift permet d'accéder à la valeur d'un champ d'un document situé à une position relative. { $shift: { output: '$temperature', by: -1 } } renvoie la température du document précédent dans la partition. C'est idéal pour calculer des écarts — la différence entre la mesure courante et celle qui la précède — et ainsi mettre en évidence le taux de variation des données des capteurs.

Placez toujours une étape $match avant $setWindowFields afin de réduire l'ensemble de travail. Les calculs sur les fenêtres sont effectués en mémoire ; fournir moins de documents à l'étape réduit donc considérablement l'utilisation de la RAM. Après l'étape de fenêtre, vous pouvez ajouter un autre $match pour filtrer le résultat enrichi, par exemple en ne conservant que les documents dont la moyenne glissante dépasse un seuil.

$setWindowFields doit conserver chaque partition en mémoire pour calculer les valeurs de fenêtre. Pour les données de séries temporelles, cela correspond aux données d'un capteur pour la période demandée. Si vos partitions sont extrêmement volumineuses (des millions de mesures), envisagez un préfiltrage avec $match ou utilisez allowDiskUse: true lors de l'agrégation afin de décharger les partitions sur le disque. Vous pouvez également effectuer une préagrégation en résumés horaires avant d'appliquer les fonctions de fenêtre.

Une chaîne complète de détection d'anomalies combine $match pour filtrer une plage, $setWindowFields avec une fenêtre rétrospective pour calculer la moyenne glissante et l'écart type, puis un $match final avec $expr pour faire ressortir les mesures qui s'écartent de plus de 2 écarts types de la moyenne locale. Ce modèle constitue la base des systèmes de surveillance IoT en temps réel.

Dans cette leçon, vous avez appris que $setWindowFields enrichit chaque document avec des valeurs calculées sur une fenêtre environnante sans réduire le résultat, que les limites de documents et de plages permettent de contrôler précisément les fenêtres rétrospectives, prospectives ou couvrant une période, et que les opérateurs tels que $avg, $sum, $shift et $rank couvrent les moyennes mobiles, les totaux cumulés, le calcul des écarts et le classement. Nous allons maintenant découvrir l'expiration automatique des données avec expireAfterSeconds.