Limiter le débit et explorer le Web avec respect
Apprenez à réguler les requêtes, à respecter crawl-delay et à éviter de surcharger les serveurs afin que votre extraction reste éthique et durable.
Limiter le débit et explorer le Web avec respect est une leçon Web Scraping & Bots gratuite sur CoddyKit. Ceci est la leçon 4 sur 4. Tu peux lire la leçon complète ci-dessous gratuitement — puis la pratiquer en direct dans le navigateur avec un éditeur de code intégré et un tuteur IA 24/7. Elle fait partie du parcours d'apprentissage Web Scraping & Bots, et ta progression se synchronise sur le web et l'application CoddyKit. Le cours Web Scraping & Bots comprend 4 leçons au total.
Certaines parties de cette leçon n'ont pas encore été traduites et s'affichent en anglais.
Why Rate Limiting Matters
Even when scraping is legally permitted, hammering a server with rapid requests can degrade the site for real users and get your IP banned.
Respectful crawling means pacing your requests so you gather data without harming the host.
The Cost of a Request
Every request consumes server CPU, bandwidth, and database load. A scraper firing hundreds of requests per second behaves like a denial-of-service attack, even unintentionally.
- Small sites have limited capacity.
- Bursts spike server load.
- Steady, slow traffic is far kinder.
Reading Crawl-Delay
Many robots.txt files include a Crawl-delay directive specifying seconds to wait between requests. Honor it as a baseline minimum.
User-agent: *
Crawl-delay: 10
Disallow: /private/A Simple Delay
The most basic throttle adds a pause between requests. A fixed delay is fine for low-volume jobs.
import time
import requests
for url in urls:
requests.get(url)
time.sleep(2) # at least 2 seconds between requestsRandomized Delays
Fixed intervals create a robotic, easily-detected pattern. Adding jitter makes traffic look more human and spreads load.
import random, time
delay = random.uniform(1.5, 4.0)
time.sleep(delay)Token Bucket Throttling
For steadier control, a token bucket permits a fixed average rate while allowing small bursts. Tokens refill over time; each request spends one.
import time
class RateLimiter:
def __init__(self, rate):
self.rate = rate
self.last = time.time()
def wait(self):
now = time.time()
gap = 1.0 / self.rate
sleep = gap - (now - self.last)
if sleep > 0:
time.sleep(sleep)
self.last = time.time()Respecting HTTP 429
A 429 Too Many Requests response is the server telling you to slow down. Check for a Retry-After header and back off for that duration.
resp = requests.get(url)
if resp.status_code == 429:
wait = int(resp.headers.get('Retry-After', 30))
time.sleep(wait)Exponential Backoff
On repeated errors, increase the wait exponentially rather than retrying immediately. This relieves a struggling server and improves your success rate.
delay = 1
for attempt in range(5):
resp = requests.get(url)
if resp.ok:
break
time.sleep(delay)
delay *= 2 # 1, 2, 4, 8, 16 secondsConcurrency Limits
Parallel requests speed things up but multiply server load. Cap simultaneous connections with a semaphore so you never exceed a polite ceiling.
import threading
sem = threading.Semaphore(4) # max 4 in flight
def fetch(url):
with sem:
requests.get(url)Scheduling Off-Peak
Run heavy jobs during the site's low-traffic hours (often overnight in the host's timezone). Combined with throttling, this minimizes your footprint and reduces the chance of disruption.
Caching to Avoid Re-Fetching
The kindest request is the one you never send. Cache responses locally so re-running a job does not re-hit pages you already have. Only fetch what is new or stale.
import os
if not os.path.exists(cache_path):
resp = requests.get(url)
open(cache_path, 'w').write(resp.text)
html = open(cache_path).read()Quick Check
Test your understanding of respectful crawling.
Recap
You learned to crawl respectfully: honor Crawl-delay, add randomized delays, use token buckets, react to 429 with backoff, cap concurrency, and schedule off-peak.
Polite pacing keeps your scraper sustainable and your access intact.
Questions Fréquemment Posées
La leçon « Limiter le débit et explorer le Web avec respect » est-elle gratuite ?
Oui — le texte complet de « Limiter le débit et explorer le Web avec respect » est gratuit à lire ici sur le web. Pour la pratiquer de manière interactive (un éditeur de code intégré et un tuteur IA 24/7) et déverrouiller le reste du cours Web Scraping & Bots, passe à CoddyKit PRO. Le cours Web Scraping & Bots comprend 4 leçons au total.
Qu'est-ce que j'apprendrai dans « Limiter le débit et explorer le Web avec respect » ?
Apprenez à réguler les requêtes, à respecter crawl-delay et à éviter de surcharger les serveurs afin que votre extraction reste éthique et durable. Tu pratiques Web Scraping & Bots avec du code pratique que tu exécutes directement dans le navigateur, et un tuteur IA 24/7 répond à tes questions au fur et à mesure que tu avances dans la leçon.
Dois-je avoir de l'expérience pour commencer Web Scraping & Bots ?
Aucune expérience préalable n'est requise. Web Scraping & Bots sur CoddyKit est structuré pour les débutants jusqu'aux apprenants avancés, donc tu peux commencer ici ou depuis le début et avancer à ton rythme. Ceci est la leçon 4 sur 4.
Combien de temps prend la leçon « Limiter le débit et explorer le Web avec respect » ?
La plupart des leçons CoddyKit prennent environ 5–10 minutes. Chacune est courte et interactive, tu progresses régulièrement et tu repiques exactement où tu t'es arrêté sur le web et l'app.
Peux-tu écrire et exécuter du code dans cette leçon Web Scraping & Bots ?
Oui. Chaque leçon Web Scraping & Bots inclut un éditeur de code intégré, tu écris et exécutes du vrai code directement dans ton navigateur et tu reçois des retours IA instantanés — aucune configuration locale requise.
Toutes les leçons de ce cours
- Comprendre Robots.txt
- Conditions d’utilisation et droits d’auteur
- Pratiques éthiques du scraping
- Limiter le débit et explorer le Web avec respect