Web Scraping & Bots · Урок

Robots.txt и этика веб-скрейпинга

Разберитесь в правовых и этических основах веб-скрейпинга: robots.txt, условиях использования, ограничении частоты и ответственном поведении.

«Robots.txt и этика веб-скрейпинга» — бесплатный урок Web Scraping & Bots на CoddyKit. Это урок 4 из 4. Ты можешь прочитать весь урок бесплатно ниже — а потом практиковать его прямо в браузере с встроенным редактором кода и ИИ-репетитором 24/7. Это часть пути обучения Web Scraping & Bots, и твой прогресс синхронизируется между веб-версией и приложением CoddyKit. Курс Web Scraping & Bots содержит 4 уроков всего.

Части этого урока еще не переведены и отображаются на английском.

Scraping Responsibly

Scraping touches other people’s servers and data. Before your first scraper, learn the rules and ethics that keep you safe and respectful.

What Is robots.txt?

robots.txt lives at a site’s root and tells automated clients which paths they may or may not access.

# https://example.com/robots.txt
User-agent: *
Disallow: /admin/
Allow: /public/

Reading the Directives

Read the directives: User-agent targets a crawler, Disallow blocks paths, Allow adds exceptions, Crawl-delay sets a wait.

Checking robots.txt in Python

Python’s built-in urllib.robotparser reads and evaluates robots.txt for you — just ask it whether you can fetch a URL.

from urllib.robotparser import RobotFileParser

rp = RobotFileParser()
rp.set_url('https://example.com/robots.txt')
rp.read()
print(rp.can_fetch('*', 'https://example.com/public/page'))

robots.txt Is Not Law

Remember: robots.txt is a request, not a lock. Ignoring it isn’t a crime by itself, but it can breach terms of service. Respect it anyway.

Terms of Service

A site’s Terms of Service may flat-out forbid automated access. Breaking them can mean account bans or legal trouble — always check first.

Personal & Copyrighted Data

Tread carefully with personal data (privacy laws like GDPR) and copyrighted content. Collecting or republishing them can carry real consequences.

Rate Limiting

Rapid-fire requests can overload a server — and get you blocked. Add a delay between requests to stay polite.

import time

for url in urls:
    fetch(url)
    time.sleep(2)  # be polite

Identify Yourself

Set an honest User-Agent header, ideally with contact info, so site owners can reach you instead of just blocking you.

headers = {
    'User-Agent': 'MyResearchBot/1.0 (contact@example.com)'
}

Prefer Official APIs

If a site offers an API, use it. APIs are stable, sanctioned, and far gentler than scraping raw HTML.

Cache to Reduce Load

Cache responses locally so you don’t re-fetch the same page over and over while developing.

import os

if not os.path.exists('page.html'):
    save(fetch(url), 'page.html')
html = open('page.html').read()

Quick Check

What is the correct way to think about robots.txt?

Recap

You’ve got scraping ethics: respecting robots.txt, terms, privacy and copyright, rate limiting, honest User-Agents, and preferring APIs and caching.

Часто задаваемые вопросы

Урок «Robots.txt и этика веб-скрейпинга» бесплатный?

Да — полный текст урока «Robots.txt и этика веб-скрейпинга» бесплатно доступен здесь в веб-версии. Чтобы практиковать его интерактивно (встроенный редактор кода и ИИ-репетитор 24/7) и разблокировать остальной курс Web Scraping & Bots, подпишись на CoddyKit PRO. Курс Web Scraping & Bots содержит 4 уроков всего.

Чему я научусь в уроке «Robots.txt и этика веб-скрейпинга»?

Разберитесь в правовых и этических основах веб-скрейпинга: robots.txt, условиях использования, ограничении частоты и ответственном поведении. Ты практикуешь Web Scraping & Bots с помощью реального кода, который запускаешь прямо в браузере, и ИИ-репетитор 24/7 отвечает на твои вопросы во время урока.

Нужен ли мне опыт, чтобы начать Web Scraping & Bots?

Предыдущий опыт не требуется. Web Scraping & Bots на CoddyKit структурирован для всех уровней — от новичков до продвинутых, поэтому ты можешь начать отсюда или с самого начала и учиться в своем темпе. Это урок 4 из 4.

Сколько времени занимает урок «Robots.txt и этика веб-скрейпинга»?

Большинство уроков CoddyKit занимают около 5–10 минут. Каждый из них компактный и интерактивный, поэтому ты постоянно делаешь прогресс и продолжаешь с того же места в веб-версии и приложении.

Можно ли писать и запускать код в этом уроке Web Scraping & Bots?

Да. Каждый урок Web Scraping & Bots включает встроенный редактор кода, поэтому ты пишешь и запускаешь реальный код прямо в браузере и получаешь моментальную обратную связь от AI — локальная установка не требуется.

Все уроки этого курса

← Назад к Web Scraping & Bots