MongoDB Academy · Урок

Секционирование данных S3 для производительности запросов

Вы определите атрибуты секционирования для путей S3, чтобы Data Federation мог исключать нерелевантные файлы и быстро выполнять аналитические запросы.

Урок 4 из 413 шагов

«Секционирование данных S3 для производительности запросов» — бесплатный урок MongoDB Academy на CoddyKit. Это урок 4 из 4. Ты можешь прочитать весь урок бесплатно ниже — а потом практиковать его прямо в браузере с встроенным редактором кода и ИИ-репетитором 24/7. Это часть пути обучения MongoDB Academy, и твой прогресс синхронизируется между веб-версией и приложением CoddyKit. Курс MongoDB Academy содержит 4 уроков всего.

Части этого урока еще не переведены и отображаются на английском.

Why Partitioning S3 Data Matters

In Atlas Data Federation, every query against an S3-backed virtual collection potentially reads many files. Without partitioning, even a query asking for a single day's data might scan an entire year of files. Partitioning organises S3 objects into a directory structure that encodes queryable metadata in the path, allowing the query engine to skip irrelevant files — a technique called partition pruning.

Partition Pruning: The Core Mechanism

Partition pruning works because Atlas Data Federation parses the S3 object key (path) and extracts the values defined as partition attributes in the storage configuration. When a query filter matches one of these attributes, the query engine only reads objects whose path values match — skipping all others without even issuing S3 GetObject requests for them.

// Path template with partition attributes
// /events/{year int}/{month int}/{day int}/data.parquet

// Query: fetch March 15, 2025 data
db.events.find({ year: 2025, month: 3, day: 15 })

// Data Federation issues S3 ListObjects only for:
// /events/2025/3/15/
// All other years/months/days are skipped

Designing Your Partition Structure

Choose partition attributes based on how your queries filter data. Common patterns: time-based (year/month/day) for time-series data, geo-based (region/country) for global data, entity-based (tenantId, userId) for multi-tenant SaaS. Put the most-frequently-filtered partition attribute highest in the hierarchy for the greatest pruning effect.

// Time-based partition hierarchy
// /events/{year int}/{month int}/{day int}/{hour int}/

// Entity + time partition (tenant queries prune all other tenants)
// /orders/{tenantId string}/{year int}/{month int}/

// Geo + time
// /events/{region string}/{year int}/{month int}/

Registering Partition Attributes in Storage Config

Partition attributes are declared in the storage configuration's path field using curly-brace syntax with the attribute name and type: {attrName type}. Supported types are string, int, and ISODate. The type determines how the attribute is parsed and compared against query filter values.

{
  'dataSources': [{
    'storeName': 's3Store',
    'path': '/events/{year int}/{month int}/{day int}/*.parquet'
  }]
}
// Partition attributes: year (int), month (int), day (int)
// Filters like { year: 2025, month: 3 } trigger pruning
// The '*.parquet' at the end matches any file in the day directory

File Size: Finding the Sweet Spot

Partition pruning works at the directory level, but file size also matters. Too many tiny files (thousands of 1 KB files) wastes time on per-file S3 API calls, even after pruning. Too few giant files (one 100 GB file per month) prevents pruning below the month level. Aim for file sizes of 64 MB to 256 MB (compressed), with enough files per partition to enable sub-partition pruning where needed.

// Ideal partition design for daily query patterns:
// /events/2025/03/15/part-001.parquet  (~128 MB each)
// /events/2025/03/15/part-002.parquet
// /events/2025/03/15/part-003.parquet
// Total: ~384 MB for a busy day, 3 files to manage

// Avoid:
// /events/2025/03/15/00001.json (1 KB each, thousands of files)
// /events/2025/march.parquet    (no day-level pruning possible)

Using ISODate Partition Attributes

For S3 paths that encode timestamps in ISO format (e.g., 2025-03-15), use the ISODate partition attribute type. This lets you filter with MongoDB date comparison operators ($gte, $lt, $lte) against the partition attribute, and Data Federation will correctly prune files outside the requested date range.

// Path: /events/{date ISODate}/data.parquet
// e.g.: /events/2025-03-15/data.parquet

// Query with ISODate range — triggers pruning
db.events.find({
  date: {
    $gte: ISODate('2025-03-01'),
    $lt:  ISODate('2025-04-01')
  }
})
// Only reads /events/2025-03-*/ directories

Compacting and Re-Partitioning Files

Over time, streaming data pipelines often produce many small files (the 'small files problem'). To maintain query performance, periodically compact files: read all files in a partition and write them back as fewer, larger files. This is typically done with Spark, AWS Glue, or a scheduled Atlas Function that reads and re-exports data.

// Compact using MongoDB Data Federation's own $out
// (Re-export a partition to a temporary location, then replace)
db.events_raw.aggregate([
  { $match: { year: 2024, month: 1 } },
  { $out: {
    s3: {
      bucket: 'mycompany-analytics-archive',
      region: 'us-east-1',
      filename: 'events/2024/1/compacted-{UUID()}.parquet',
      format: { name: 'parquet' }
    }
  }}
])

Exporting Data to S3 With $out

Data Federation supports an extended form of $out that writes aggregation results directly to S3 instead of an Atlas collection. This is used for ETL pipelines: read raw data from Atlas, transform it, and export the result to S3 in an optimised format (Parquet, BSON) for future federated queries or downstream analytics tools.

// Export to S3 in Parquet format from Atlas
db.orders.aggregate([
  { $match: { year: 2025, month: 3 } },
  { $project: { customerId: 1, amount: 1, region: 1, status: 1 } },
  { $out: {
    s3: {
      bucket: 'mycompany-analytics-archive',
      region: 'us-east-1',
      filename: 'orders/2025/3/data.parquet',
      format: { name: 'parquet', maxFileSize: '128MB' }
    }
  }}
])

Combining Partition Pruning and Column Pruning

Maximum performance comes from combining both pruning strategies: partition pruning (time/entity attributes in the path skips whole files) and column pruning (early $project skips unneeded Parquet columns within each file). Together they can reduce I/O by 99%+ compared to a naive full-scan query on an unpartitioned, uncompressed dataset.

// Combined: partition pruning + column pruning
db.events.aggregate([
  // Partition pruning: only reads March 2025 S3 files
  { $match: { year: 2025, month: 3, eventType: 'purchase' } },
  // Column pruning: only reads userId, amount columns from Parquet
  { $project: { userId: 1, amount: 1, _id: 0 } },
  { $group: { _id: '$userId', total: { $sum: '$amount' } } },
  { $sort: { total: -1 } },
  { $limit: 100 }
])

Monitoring Partition Pruning Effectiveness

In the Atlas Data Federation query history, each query shows the number of files matched versus the number of files actually read. If matched >> read, partition pruning is working well. If matched ≈ read, your partition structure does not align with your query patterns and you should redesign the partition layout or add more partition attributes.

// Check execution stats to verify pruning
db.events.explain().aggregate([
  { $match: { year: 2025, month: 3 } },
  { $group: { _id: '$eventType', count: { $sum: 1 } } }
])
// In the explain output, look for:
// 'partitionsProcessed': 31   (one per day in March)
// 'partitionsTotal': 365      (total days in the year)
// Effective pruning: 31/365 files scanned

Partition Design: A Practical Checklist

When designing your S3 partition structure: 1) Identify the fields your queries filter most frequently — those become partition attributes. 2) Put the highest-cardinality, most-frequently-filtered field at the top of the path hierarchy. 3) Target 64–256 MB per file. 4) Use Parquet format for analytical workloads to also benefit from column pruning. 5) Include a date-based partition (year/month/day) for time-series data.

// Example: well-designed partition hierarchy for event data
// Prioritises: region (high selectivity), then year, month, day
// Path: /events/{region string}/{year int}/{month int}/{day int}/

// Query: EU events in March 2025
// Reads ONLY: /events/EU/2025/3/
// Skips: all other regions and all other months/years
db.events.find({ region: 'EU', year: 2025, month: 3, eventType: 'purchase' })

Quick Check

Test your understanding of MongoDB & NoSQL Databases concepts from this lesson.

Ответь в интерактивном уроке

Lesson Recap

In this lesson you learned: partition attributes encode metadata in S3 paths so the query engine can skip non-matching files (partition pruning), combining partition pruning with column pruning in Parquet delivers the greatest I/O reduction, and aim for 64-256 MB file sizes to balance per-file API overhead with pruning granularity. Next up we explore Atlas Triggers for reacting to database events.

Можно начать бесплатно

Изучай JavaScript с ИИ-репетитором — бесплатно

Пиши и запускай код прямо в браузере, получай мгновенную помощь от ИИ-репетитора 24/7 и продолжи учиться на сайте или в приложении.

Курсы: 30
Уроки: 120

Начать учиться бесплатно Посмотреть полный курс

Часто задаваемые вопросы

Урок «Секционирование данных S3 для производительности запросов» бесплатный?

Да — полный текст урока «Секционирование данных S3 для производительности запросов» бесплатно доступен здесь в веб-версии. Чтобы практиковать его интерактивно (встроенный редактор кода и ИИ-репетитор 24/7) и разблокировать остальной курс MongoDB Academy, подпишись на CoddyKit PRO. Курс MongoDB Academy содержит 4 уроков всего.

Чему я научусь в уроке «Секционирование данных S3 для производительности запросов»?

Вы определите атрибуты секционирования для путей S3, чтобы Data Federation мог исключать нерелевантные файлы и быстро выполнять аналитические запросы. Ты практикуешь MongoDB Academy с помощью реального кода, который запускаешь прямо в браузере, и ИИ-репетитор 24/7 отвечает на твои вопросы во время урока.

Нужен ли мне опыт, чтобы начать MongoDB Academy?

Предыдущий опыт не требуется. MongoDB Academy на CoddyKit структурирован для всех уровней — от новичков до продвинутых, поэтому ты можешь начать отсюда или с самого начала и учиться в своем темпе. Это урок 4 из 4.

Сколько времени занимает урок «Секционирование данных S3 для производительности запросов»?

Большинство уроков CoddyKit занимают около 5–10 минут. Каждый из них компактный и интерактивный, поэтому ты постоянно делаешь прогресс и продолжаешь с того же места в веб-версии и приложении.

Можно ли писать и запускать код в этом уроке MongoDB Academy?

Да. Каждый урок MongoDB Academy включает встроенный редактор кода, поэтому ты пишешь и запускаешь реальный код прямо в браузере и получаешь моментальную обратную связь от AI — локальная установка не требуется.

Все уроки этого курса

Что такое Atlas Data Federation
Сопоставление источников S3 и Atlas с виртуальным пространством имён
Выполнение конвейеров агрегации между источниками
Секционирование данных S3 для производительности запросов

← Назад к MongoDB Academy