$sort, $limit en $skip in de pipeline

Drie fasen van de aggregatiepijplijn bepalen de volgorde en hoeveelheid van de resultaten: $sort ordent documenten op basis van een of meer velden, $limit neemt alleen de eerste N documenten, en $skip verwijdert de eerste N documenten. Samen implementeren ze sortering en paginering. Als je begrijpt waar je ze in de pijplijn plaatst, kan dat een grote invloed hebben op de prestaties.

De fase $sort ordent documenten op basis van de waarden van een of meer velden. Gebruik 1 voor oplopende en -1 voor aflopende volgorde. Als er meerdere velden zijn opgegeven, worden documenten eerst op het eerste veld gesorteerd, vervolgens bij gelijke waarden op het tweede veld, enzovoort — precies zoals bij sortering op meerdere sleutels in SQL of MongoDB's find().sort().

Wanneer $sort de eerste fase van de pijplijn is (of volgt op een $match die een index gebruikt), kan MongoDB een index gebruiken om aan de sortering te voldoen. Zo wordt een sortering in het geheugen volledig vermeden. Wanneer $sort volgt op fasen die nieuwe velden produceren, zoals $group of $project, is er geen index beschikbaar en voert MongoDB een sortering in het geheugen uit. Voor grote sorteringen in het geheugen (>100 MB) is allowDiskUse: true vereist.

$limit geeft alleen de eerste N documenten door aan de volgende fase en verwijdert de rest. Het gebruik is eenvoudig: geef een geheel getal op dat het maximumaantal documenten aangeeft dat mag worden doorgelaten. Als je $limit vóór dure fasen zoals $lookup plaatst, verklein je het aantal uitgevoerde koppelingen of opzoekingen aanzienlijk. Vraag jezelf altijd af: 'Kan ik eerder beperken?'

$skip verwijdert de eerste N documenten uit de stroom. Dit is het aggregatie-equivalent van paginering met een verschuivingswaarde: pagina 2 begint bij skip 10 (uitgaande van 10 resultaten per pagina). $skip komt altijd na $sort om consistente resultaten te krijgen — het overslaan van ongesorteerde documenten levert onvoorspelbare pagina's op. Net als SQL OFFSET is $skip bij grote verschuivingswaarden traag, omdat MongoDB alle overgeslagen documenten nog steeds moet verwerken.

De aggregatie-optimalisatie van MongoDB detecteert wanneer een fase $sort direct wordt gevolgd door een fase $limit en voegt deze samen tot een top-N-sortering. In plaats van alle documenten te sorteren en daarna de meeste te verwijderen, bewaart MongoDB tijdens het sorteren alleen de N beste kandidaten in een prioriteitswachtrij. Dit gebruikt O(N) geheugen in plaats van O(totaal) geheugen. Deze optimalisatie gebeurt automatisch: je krijgt dit gedrag door eenvoudig $sort gevolgd door $limit te schrijven.

De aggregatie-optimalisatie verplaatst een fase $match ook automatisch eerder in de pijplijn wanneer dat veilig is. Als $sort bijvoorbeeld vóór $match staat voor een veld dat $sort niet heeft berekend, verplaatst de optimalisatie $match vóór $sort. Zo wordt het aantal documenten dat moet worden gesorteerd kleiner. Je kunt wijzigingen door de optimalisatie bekijken in de uitvoer van explain().

Een realistisch API-eindpunt dat producten met filters, sortering en paginering weergeeft, combineert $match, $sort, $skip en $limit in de juiste volgorde. Het patroon is altijd: filteren → sorteren → overslaan → beperken. Dankzij deze volgorde gebruikt MongoDB indexen voor zowel het filteren als, waar mogelijk, het sorteren voordat onnodige documenten worden verwijderd.

Het fundamentele probleem met $skip is dat MongoDB elk overgeslagen document nog steeds moet verwerken en verwijderen. Op pagina 1000 met 20 items per pagina verwijdert MongoDB 19.980 documenten voordat het 20 documenten retourneert. Dit wordt steeds trager naarmate je verder door de pagina's gaat. Voor openbare zoek- of feed-API's waarbij gebruikers zelden verder gaan dan pagina 5–10, is paginering met een verschuivingswaarde prima. Voor frequente paginering op diepe posities is paginering op basis van een sleutel vereist.

Een $sort in het geheugen binnen de aggregatiepijplijn is standaard beperkt tot 100 MB. Als de sortering deze limiet overschrijdt, mislukt de pijplijn met de fout QueryExceededMemoryLimitNoDiskUseAllowed. Geef { allowDiskUse: true } op als tweede argument van aggregate() om het tijdelijk wegschrijven naar schijf in te schakelen. Je kunt ook vroegtijdig een $match toepassen of een ondersteunende index gebruiken om de grootte van de invoer voor de sortering te verkleinen.

Een veelgebruikt patroon voor API's is om zowel de gepagineerde resultaten als het totale aantal in één communicatie met de database terug te geven. Gebruik $facet om de pijplijn op te splitsen in twee parallelle vertakkingen: één voor de resultaten met $skip/$limit en één voor $count. Zo vermijd je twee afzonderlijke aggregatieaanroepen en is dit efficiënter dan alle documenten afzonderlijk te tellen.

In deze les heb je geleerd dat $sort documenten ordent en profiteert van indexgebruik wanneer je deze fase vroeg plaatst, dat $limit de eerste N documenten neemt en met $sort wordt samengevoegd tot een efficiënte top-N-sortering, en dat $skip paginering met een verschuivingswaarde implementeert maar trager wordt bij diepe verschuivingswaarden. Vervolgens bekijken we geavanceerde aggregatiefasen, waaronder $lookup voor het koppelen van verzamelingen.