Hız Sınırlama ve Saygılı Tarama
İstekleri sınırlamayı, crawl-delay'e uymayı ve sunucuları aşırı yüklemekten kaçınmayı öğrenerek veri çekme işleminizi etik ve sürdürülebilir tutun.
Hız Sınırlama ve Saygılı Tarama, CoddyKit'te ücretsiz bir Web Scraping & Bots dersidir. Bu, 4 dersinin 4. dersidir. Aşağıdan dersin tamamını ücretsiz okuyabilir, sonra tarayıcıda yerleşik kod editörü ve 7/24 yapay zeka koçu ile uygulamalı olarak pratik yapabilirsin. Bu, Web Scraping & Bots öğrenme yolunun bir parçasıdır ve ilerlemeniz web ve CoddyKit uygulaması arasında senkronize olur. Web Scraping & Bots kursu toplamda 4 dersten oluşur.
Bu dersin bazı bölümleri henüz çevrilmemiş olup İngilizce olarak gösterilmektedir.
Why Rate Limiting Matters
Even when scraping is legally permitted, hammering a server with rapid requests can degrade the site for real users and get your IP banned.
Respectful crawling means pacing your requests so you gather data without harming the host.
The Cost of a Request
Every request consumes server CPU, bandwidth, and database load. A scraper firing hundreds of requests per second behaves like a denial-of-service attack, even unintentionally.
- Small sites have limited capacity.
- Bursts spike server load.
- Steady, slow traffic is far kinder.
Reading Crawl-Delay
Many robots.txt files include a Crawl-delay directive specifying seconds to wait between requests. Honor it as a baseline minimum.
User-agent: *
Crawl-delay: 10
Disallow: /private/A Simple Delay
The most basic throttle adds a pause between requests. A fixed delay is fine for low-volume jobs.
import time
import requests
for url in urls:
requests.get(url)
time.sleep(2) # at least 2 seconds between requestsRandomized Delays
Fixed intervals create a robotic, easily-detected pattern. Adding jitter makes traffic look more human and spreads load.
import random, time
delay = random.uniform(1.5, 4.0)
time.sleep(delay)Token Bucket Throttling
For steadier control, a token bucket permits a fixed average rate while allowing small bursts. Tokens refill over time; each request spends one.
import time
class RateLimiter:
def __init__(self, rate):
self.rate = rate
self.last = time.time()
def wait(self):
now = time.time()
gap = 1.0 / self.rate
sleep = gap - (now - self.last)
if sleep > 0:
time.sleep(sleep)
self.last = time.time()Respecting HTTP 429
A 429 Too Many Requests response is the server telling you to slow down. Check for a Retry-After header and back off for that duration.
resp = requests.get(url)
if resp.status_code == 429:
wait = int(resp.headers.get('Retry-After', 30))
time.sleep(wait)Exponential Backoff
On repeated errors, increase the wait exponentially rather than retrying immediately. This relieves a struggling server and improves your success rate.
delay = 1
for attempt in range(5):
resp = requests.get(url)
if resp.ok:
break
time.sleep(delay)
delay *= 2 # 1, 2, 4, 8, 16 secondsConcurrency Limits
Parallel requests speed things up but multiply server load. Cap simultaneous connections with a semaphore so you never exceed a polite ceiling.
import threading
sem = threading.Semaphore(4) # max 4 in flight
def fetch(url):
with sem:
requests.get(url)Scheduling Off-Peak
Run heavy jobs during the site's low-traffic hours (often overnight in the host's timezone). Combined with throttling, this minimizes your footprint and reduces the chance of disruption.
Caching to Avoid Re-Fetching
The kindest request is the one you never send. Cache responses locally so re-running a job does not re-hit pages you already have. Only fetch what is new or stale.
import os
if not os.path.exists(cache_path):
resp = requests.get(url)
open(cache_path, 'w').write(resp.text)
html = open(cache_path).read()Quick Check
Test your understanding of respectful crawling.
Recap
You learned to crawl respectfully: honor Crawl-delay, add randomized delays, use token buckets, react to 429 with backoff, cap concurrency, and schedule off-peak.
Polite pacing keeps your scraper sustainable and your access intact.
Yapay zeka eğitmeniyle Python öğren — ücretsiz
Tarayıcında gerçek kod yaz ve çalıştır, 7/24 yapay zeka eğitmeninden anında yardım al; web'de ya da uygulamada kaldığın yerden devam et.
- Kurslar
- 12
- Dersler
- 48
Sıkça Sorulan Sorular
“Hız Sınırlama ve Saygılı Tarama” dersi ücretsiz mi?
Evet — “Hız Sınırlama ve Saygılı Tarama” dersin tüm metni burada web'de ücretsiz olarak okunabilir. Etkileşimli olarak pratik yapmak (yerleşik kod editörü ve 7/24 yapay zeka koçu) ve Web Scraping & Bots kursunun geri kalanını açmak için CoddyKit PRO'ya yükselt. Web Scraping & Bots kursu toplamda 4 dersten oluşur.
“Hız Sınırlama ve Saygılı Tarama” dersinde ne öğreneceğim?
İstekleri sınırlamayı, crawl-delay'e uymayı ve sunucuları aşırı yüklemekten kaçınmayı öğrenerek veri çekme işleminizi etik ve sürdürülebilir tutun. Web Scraping & Bots ile uygulamalı kodu tarayıcıda doğrudan çalıştırarak pratik yaparsın ve 7/24 yapay zeka koçu dersi çalışırken sorularını yanıtlar.
Web Scraping & Bots öğrenmeye başlamak için deneyim gerekli mi?
Önceden deneyim gerekmez. CoddyKit'te Web Scraping & Bots, başlangıçtan ileri seviyeye kadar yapılandırıldığı için buradan başlayabilir veya başından başlayıp kendi hızında ilerleme yapabilirsin. Bu, 4 dersinin 4. dersidir.
“Hız Sınırlama ve Saygılı Tarama” dersi ne kadar sürer?
Çoğu CoddyKit dersi yaklaşık 5–10 dakika sürer. Her biri kısa ve etkileşimli olduğu için sabit ilerleme yaparsın ve web ile uygulama arasında tam olarak bıraktığın yerden devam edebilirsin.
Bu Web Scraping & Bots dersinde kod yazıp çalıştırabilir miyim?
Evet. Her Web Scraping & Bots dersi yerleşik bir kod editörü içerir, bu sayede tarayıcıda gerçek kod yazıp çalıştırabilir ve anlık yapay zeka geri bildirimi alırsın — yerel kurulum gerekli değildir.
Bu kursun tüm dersleri
- Robots.txt'yi Anlama
- Hizmet Şartları ve Telif Hakkı
- Etik Web Kazıma Uygulamaları
- Hız Sınırlama ve Saygılı Tarama