Rotación de user-agents y encabezados
Implemente la rotación dinámica de user-agents y encabezados HTTP para imitar tráfico legítimo del navegador y evitar la detección.
Rotación de user-agents y encabezados es una lección gratuita de Web Scraping & Bots en CoddyKit. Esta es la lección 1 de 4. Puedes leer la lección completa abajo gratuitamente — luego la practicas en el navegador con un editor de código integrado y un tutor de IA 24/7. Forma parte de la ruta de aprendizaje de Web Scraping & Bots, y tu progreso se sincroniza en la web y la app de CoddyKit. El curso de Web Scraping & Bots incluye 4 lecciones en total.
Partes de esta lección aún no han sido traducidas y se muestran en inglés.
Avoiding Detection
When you scrape websites, they often try to detect if you're a human or a bot. If they think you're a bot, they might block you!
One common way websites spot bots is by looking at your HTTP headers. These headers contain information about your request.
Understanding HTTP Headers
Every time your browser (or a script) makes a request to a website, it sends HTTP headers. Think of them as metadata attached to your request.
- User-Agent: Identifies your browser/OS.
- Accept: What content types you prefer.
- Referer: The previous page you were on.
- Accept-Language: Your preferred language.
Your Digital Fingerprint
The User-Agent header is super important. It tells the web server what kind of client is making the request.
For example, "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36" identifies a Chrome browser on Windows.
Bots often use a generic User-Agent, or none at all, which is a big red flag!
Spotting Suspicious Patterns
If a website sees many requests from the same IP address, all using the exact same, generic User-Agent, it's easy to tell it's a bot.
Web servers can also analyze other headers. A real browser sends a rich set of headers, while a simple scraping script might send very few.
Building a User-Agent List
To mimic real browsers, you need a collection of diverse User-Agent strings. You can find these online!
- Search for "list of user agents".
- Extract them from browser requests.
- Use libraries that maintain such lists.
Aim for a mix of different browsers (Chrome, Firefox, Safari) and operating systems.
Your First Custom Header
In Python, using the requests library, you can easily set custom headers for your requests. Let's start with a single User-Agent.
Try running this example:
import requests
url = "https://httpbin.org/headers"
headers = {
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36"
}
response = requests.get(url, headers=headers)
print(response.json()['headers']['User-Agent'])Dynamic User-Agent Selection
To make your requests appear more natural, you should rotate your User-Agent. This means picking a different one for each request (or after a few requests).
We can use Python's random module to select a User-Agent from a list.
Try running this example:
import requests
import random
user_agents = [
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36",
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36",
"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36"
]
url = "https://httpbin.org/headers"
random_ua = random.choice(user_agents)
headers = {"User-Agent": random_ua}
response = requests.get(url, headers=headers)
print(f"Used UA: {random_ua}")
print(response.json()['headers']['User-Agent'])Beyond User-Agent
While User-Agent is crucial, real browsers send many other headers. Including a few more can make your bot look even more legitimate.
- Accept-Language: e.g.,
en-US,en;q=0.9 - Accept-Encoding: e.g.,
gzip, deflate, br - Connection: e.g.,
keep-alive
You can rotate these too, or pick a consistent set that matches your chosen User-Agent's browser type.
A More Complete Header Set
Let's combine random User-Agent selection with a few other common headers to create a more robust request.
This makes your scraping bot harder to distinguish from a regular browser.
Try running this example:
import requests
import random
user_agents = [
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36",
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36",
"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36",
"Mozilla/5.0 (iPhone; CPU iPhone OS 13_5 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.1.1 Mobile/15E148 Safari/604.1"
]
url = "https://httpbin.org/headers"
random_ua = random.choice(user_agents)
headers = {
"User-Agent": random_ua,
"Accept-Language": "en-US,en;q=0.9",
"Accept-Encoding": "gzip, deflate, br",
"Connection": "keep-alive",
"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8"
}
response = requests.get(url, headers=headers)
print(f"Used UA: {random_ua}")
print("Received headers:")
for key, value in response.json()['headers'].items():
print(f" {key}: {value}")Header Rotation Check
You've learned how User-Agents and other HTTP headers are used in web requests. Rotating these can help avoid detection.
Which of the following are good reasons to rotate User-Agent and other HTTP headers when scraping?
Recap: Blending In
Great job! You've learned how critical HTTP headers, especially the User-Agent, are for web scraping.
- Websites use headers to identify clients.
- Consistent, generic headers flag bots.
- Rotating User-Agents and adding other common headers makes your bot harder to detect.
This is a powerful technique for blending in. Next, we'll explore proxy management to hide your IP address!
Preguntas frecuentes
¿La lección «Rotación de user-agents y encabezados» es gratis?
Sí — el texto completo de «Rotación de user-agents y encabezados» es gratis para leer aquí en la web. Para practicarla de forma interactiva (editor de código integrado y tutor de IA 24/7) y desbloquear el resto del curso de Web Scraping & Bots, actualiza a CoddyKit PRO. El curso de Web Scraping & Bots incluye 4 lecciones en total.
¿Qué aprenderé en «Rotación de user-agents y encabezados»?
Implemente la rotación dinámica de user-agents y encabezados HTTP para imitar tráfico legítimo del navegador y evitar la detección. Practicas Web Scraping & Bots con código real que ejecutas directamente en el navegador, y un tutor de IA 24/7 responde tus preguntas mientras trabajas en la lección.
¿Necesito experiencia previa para empezar Web Scraping & Bots?
No se requiere experiencia previa. Web Scraping & Bots en CoddyKit está estructurado para principiantes hasta estudiantes avanzados, así que puedes empezar aquí o desde el inicio y avanzar a tu ritmo. Esta es la lección 1 de 4.
¿Cuánto tiempo toma la lección «Rotación de user-agents y encabezados»?
La mayoría de las lecciones de CoddyKit toman alrededor de 5–10 minutos. Cada una es compacta e interactiva, así que avanzas constantemente y retomas exactamente por donde dejaste en la web y la app.
¿Puedo escribir y ejecutar código en esta lección de Web Scraping & Bots?
Sí. Cada lección de Web Scraping & Bots incluye un editor de código integrado, así que escribes y ejecutas código real directamente en tu navegador y obtienes retroalimentación instantánea de IA — sin configuración local necesaria.
Todas las lecciones de este curso
- Rotación de user-agents y encabezados
- Gestión de proxies y rotación de IP
- Estrategias para resolver CAPTCHAs
- Evasión de la identificación digital del navegador