Rate Limiting und respektvolles Crawling
Lernen Sie, Anfragen zu drosseln, crawl-delay zu beachten und eine Überlastung von Servern zu vermeiden, damit Ihr Scraping ethisch vertretbar und nachhaltig bleibt.
Rate Limiting und respektvolles Crawling ist eine kostenlose Web Scraping & Bots-Lektion auf CoddyKit. Dies ist Lektion 4 von 4. Du kannst die komplette Lektion unten kostenlos lesen – dann übst du sie direkt im Browser mit einem integrierten Code-Editor und einem KI-Tutor rund um die Uhr. Sie ist Teil des Web Scraping & Bots-Lernpfads, und dein Fortschritt wird über Web und CoddyKit-App synchronisiert. Der Web Scraping & Bots-Kurs umfasst insgesamt 4 Lektionen.
Teile dieser Lektion wurden noch nicht übersetzt und werden auf Englisch angezeigt.
Why Rate Limiting Matters
Even when scraping is legally permitted, hammering a server with rapid requests can degrade the site for real users and get your IP banned.
Respectful crawling means pacing your requests so you gather data without harming the host.
The Cost of a Request
Every request consumes server CPU, bandwidth, and database load. A scraper firing hundreds of requests per second behaves like a denial-of-service attack, even unintentionally.
- Small sites have limited capacity.
- Bursts spike server load.
- Steady, slow traffic is far kinder.
Reading Crawl-Delay
Many robots.txt files include a Crawl-delay directive specifying seconds to wait between requests. Honor it as a baseline minimum.
User-agent: *
Crawl-delay: 10
Disallow: /private/A Simple Delay
The most basic throttle adds a pause between requests. A fixed delay is fine for low-volume jobs.
import time
import requests
for url in urls:
requests.get(url)
time.sleep(2) # at least 2 seconds between requestsRandomized Delays
Fixed intervals create a robotic, easily-detected pattern. Adding jitter makes traffic look more human and spreads load.
import random, time
delay = random.uniform(1.5, 4.0)
time.sleep(delay)Token Bucket Throttling
For steadier control, a token bucket permits a fixed average rate while allowing small bursts. Tokens refill over time; each request spends one.
import time
class RateLimiter:
def __init__(self, rate):
self.rate = rate
self.last = time.time()
def wait(self):
now = time.time()
gap = 1.0 / self.rate
sleep = gap - (now - self.last)
if sleep > 0:
time.sleep(sleep)
self.last = time.time()Respecting HTTP 429
A 429 Too Many Requests response is the server telling you to slow down. Check for a Retry-After header and back off for that duration.
resp = requests.get(url)
if resp.status_code == 429:
wait = int(resp.headers.get('Retry-After', 30))
time.sleep(wait)Exponential Backoff
On repeated errors, increase the wait exponentially rather than retrying immediately. This relieves a struggling server and improves your success rate.
delay = 1
for attempt in range(5):
resp = requests.get(url)
if resp.ok:
break
time.sleep(delay)
delay *= 2 # 1, 2, 4, 8, 16 secondsConcurrency Limits
Parallel requests speed things up but multiply server load. Cap simultaneous connections with a semaphore so you never exceed a polite ceiling.
import threading
sem = threading.Semaphore(4) # max 4 in flight
def fetch(url):
with sem:
requests.get(url)Scheduling Off-Peak
Run heavy jobs during the site's low-traffic hours (often overnight in the host's timezone). Combined with throttling, this minimizes your footprint and reduces the chance of disruption.
Caching to Avoid Re-Fetching
The kindest request is the one you never send. Cache responses locally so re-running a job does not re-hit pages you already have. Only fetch what is new or stale.
import os
if not os.path.exists(cache_path):
resp = requests.get(url)
open(cache_path, 'w').write(resp.text)
html = open(cache_path).read()Quick Check
Test your understanding of respectful crawling.
Recap
You learned to crawl respectfully: honor Crawl-delay, add randomized delays, use token buckets, react to 429 with backoff, cap concurrency, and schedule off-peak.
Polite pacing keeps your scraper sustainable and your access intact.
Häufig gestellte Fragen
Ist die Lektion „Rate Limiting und respektvolles Crawling“ kostenlos?
Ja — der vollständige Text von „Rate Limiting und respektvolles Crawling“ ist hier im Web kostenlos zu lesen. Um sie interaktiv zu üben (integrierter Code-Editor und 24/7 KI-Tutor) und den Rest des Web Scraping & Bots-Kurses freizuschalten, upgrade auf CoddyKit PRO. Der Web Scraping & Bots-Kurs umfasst insgesamt 4 Lektionen.
Was lerne ich in „Rate Limiting und respektvolles Crawling“?
Lernen Sie, Anfragen zu drosseln, crawl-delay zu beachten und eine Überlastung von Servern zu vermeiden, damit Ihr Scraping ethisch vertretbar und nachhaltig bleibt. Du übst Web Scraping & Bots mit praktischem Code, den du direkt im Browser ausführst, und ein 24/7 KI-Tutor beantwortet deine Fragen während du die Lektion bearbeitest.
Brauche ich Erfahrung, um Web Scraping & Bots zu starten?
Keine Vorkenntnisse erforderlich. Web Scraping & Bots auf CoddyKit ist für Anfänger bis fortgeschrittene Lernende strukturiert, sodass du hier starten oder von Anfang an beginnen und in deinem eigenen Tempo voranschreiten kannst. Dies ist Lektion 4 von 4.
Wie lange dauert die Lektion „Rate Limiting und respektvolles Crawling“?
Die meisten CoddyKit-Lektionen dauern etwa 5–10 Minuten. Jede ist kompakt und interaktiv, sodass du stetig Fortschritte machst und genau dort weitermachst, wo du aufgehört hast – im Web und in der App.
Kann ich in dieser Web Scraping & Bots-Lektion Code schreiben und ausführen?
Ja. Jede Web Scraping & Bots-Lektion enthält einen integrierten Code-Editor, sodass du echten Code direkt in deinem Browser schreibst und ausführst und sofort KI-Feedback erhältst — ohne lokale Einrichtung erforderlich.
Alle Lektionen in diesem Kurs
- robots.txt verstehen
- Nutzungsbedingungen und Urheberrecht
- Ethische Scraping-Praktiken
- Rate Limiting und respektvolles Crawling