Web Scraping & Bots · Урок

Хранение данных в базах NoSQL

Узнайте, когда и как сохранять собранные данные в документно-ориентированных хранилищах NoSQL, таких как MongoDB, для гибкого хранения со слабо заданной схемой.

«Хранение данных в базах NoSQL» — бесплатный урок Web Scraping & Bots на CoddyKit. Это урок 4 из 4. Ты можешь прочитать весь урок бесплатно ниже — а потом практиковать его прямо в браузере с встроенным редактором кода и ИИ-репетитором 24/7. Это часть пути обучения Web Scraping & Bots, и твой прогресс синхронизируется между веб-версией и приложением CoddyKit. Курс Web Scraping & Bots содержит 4 уроков всего.

Части этого урока еще не переведены и отображаются на английском.

When SQL Is Not Enough

Scraped data is often irregular: different pages yield different fields, nested structures, and evolving shapes. Rigid SQL schemas can be painful here.

NoSQL document databases store flexible JSON-like records, making them a natural fit for messy web data.

Documents and Collections

In a document store like MongoDB:

A document is one JSON-like record.
A collection groups related documents (like a table).
Documents in one collection need not share the same fields.

{
  "title": "Widget",
  "price": 9.99,
  "tags": ["tools", "sale"],
  "vendor": { "name": "Acme", "rating": 4.5 }
}

Connecting with PyMongo

The pymongo driver connects Python to MongoDB. Grab a database and a collection handle to start writing.

from pymongo import MongoClient

client = MongoClient('mongodb://localhost:27017')
db = client['scraping']
products = db['products']

Inserting Documents

Insert a single scraped record with insert_one or a batch with insert_many. MongoDB assigns an _id automatically.

record = {'title': 'Gadget', 'price': 14.5, 'tags': ['new']}
result = products.insert_one(record)
print(result.inserted_id)

Avoiding Duplicates with Upsert

Re-running a scraper should not create duplicate rows. An upsert updates the matching document or inserts it if absent, keyed by a stable field like the product URL.

products.update_one(
    {'url': record['url']},
    {'$set': record},
    upsert=True
)

Unique Indexes

Enforce uniqueness at the database level with an index. This protects integrity even if your code has a bug.

products.create_index('url', unique=True)

Querying Stored Data

Retrieve records with filter documents. Operators like $gt and $in express conditions.

cheap = products.find({'price': {'$lt': 10}})
for doc in cheap:
    print(doc['title'], doc['price'])

Storing Nested and Array Data

Unlike flat SQL columns, documents keep nested objects and arrays natively. This preserves the original structure of scraped pages without join tables.

review_doc = {
  'product': 'Widget',
  'reviews': [
    {'user': 'a', 'stars': 5},
    {'user': 'b', 'stars': 4}
  ]
}
db['catalog'].insert_one(review_doc)

Bulk Writes for Speed

For large scrapes, batch operations dramatically reduce round trips. Collect writes and flush them together.

from pymongo import UpdateOne

ops = [UpdateOne({'url': r['url']}, {'$set': r}, upsert=True) for r in batch]
products.bulk_write(ops)

SQL vs NoSQL for Scraping

Choose based on your data:

NoSQL for variable, nested, fast-changing records.
SQL when fields are stable and you need joins or strict constraints.

Many pipelines stage raw data in NoSQL, then transform into SQL for analysis.

Adding Timestamps and Metadata

Always stamp each scraped document with when it was captured and its source. This lets you track freshness, debug bad runs, and re-scrape stale records selectively.

from datetime import datetime

record['scraped_at'] = datetime.utcnow()
record['source'] = 'site.com'
products.insert_one(record)

Quick Check

Test your understanding of NoSQL storage.

Recap

You learned to persist scraped data in NoSQL: documents and collections, connecting with PyMongo, upserts and unique indexes to prevent duplicates, querying, nested data, and bulk writes.

Document stores give scrapers flexible, scalable persistence.

Часто задаваемые вопросы

Урок «Хранение данных в базах NoSQL» бесплатный?

Да — полный текст урока «Хранение данных в базах NoSQL» бесплатно доступен здесь в веб-версии. Чтобы практиковать его интерактивно (встроенный редактор кода и ИИ-репетитор 24/7) и разблокировать остальной курс Web Scraping & Bots, подпишись на CoddyKit PRO. Курс Web Scraping & Bots содержит 4 уроков всего.

Чему я научусь в уроке «Хранение данных в базах NoSQL»?

Узнайте, когда и как сохранять собранные данные в документно-ориентированных хранилищах NoSQL, таких как MongoDB, для гибкого хранения со слабо заданной схемой. Ты практикуешь Web Scraping & Bots с помощью реального кода, который запускаешь прямо в браузере, и ИИ-репетитор 24/7 отвечает на твои вопросы во время урока.

Нужен ли мне опыт, чтобы начать Web Scraping & Bots?

Предыдущий опыт не требуется. Web Scraping & Bots на CoddyKit структурирован для всех уровней — от новичков до продвинутых, поэтому ты можешь начать отсюда или с самого начала и учиться в своем темпе. Это урок 4 из 4.

Сколько времени занимает урок «Хранение данных в базах NoSQL»?

Большинство уроков CoddyKit занимают около 5–10 минут. Каждый из них компактный и интерактивный, поэтому ты постоянно делаешь прогресс и продолжаешь с того же места в веб-версии и приложении.

Можно ли писать и запускать код в этом уроке Web Scraping & Bots?

Да. Каждый урок Web Scraping & Bots включает встроенный редактор кода, поэтому ты пишешь и запускаешь реальный код прямо в браузере и получаешь моментальную обратную связь от AI — локальная установка не требуется.

Все уроки этого курса

← Назад к Web Scraping & Bots