Rotação de agentes de usuário e cabeçalhos
Implemente a rotação dinâmica do agente do usuário e dos cabeçalhos HTTP para simular tráfego legítimo de navegador e evitar detecção.
Rotação de agentes de usuário e cabeçalhos é uma aula grátis de Web Scraping & Bots no CoddyKit. Esta é a aula 1 de 4. Você pode ler a aula completa abaixo gratuitamente — depois pratica ao vivo no navegador com um editor de código integrado e um tutor de IA 24/7. Faz parte do caminho de aprendizado de Web Scraping & Bots, e seu progresso é sincronizado entre a web e o app CoddyKit. O curso de Web Scraping & Bots inclui 4 aulas no total.
Partes desta aula ainda não foram traduzidas e aparecem em inglês.
Avoiding Detection
When you scrape websites, they often try to detect if you're a human or a bot. If they think you're a bot, they might block you!
One common way websites spot bots is by looking at your HTTP headers. These headers contain information about your request.
Understanding HTTP Headers
Every time your browser (or a script) makes a request to a website, it sends HTTP headers. Think of them as metadata attached to your request.
- User-Agent: Identifies your browser/OS.
- Accept: What content types you prefer.
- Referer: The previous page you were on.
- Accept-Language: Your preferred language.
Your Digital Fingerprint
The User-Agent header is super important. It tells the web server what kind of client is making the request.
For example, "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36" identifies a Chrome browser on Windows.
Bots often use a generic User-Agent, or none at all, which is a big red flag!
Spotting Suspicious Patterns
If a website sees many requests from the same IP address, all using the exact same, generic User-Agent, it's easy to tell it's a bot.
Web servers can also analyze other headers. A real browser sends a rich set of headers, while a simple scraping script might send very few.
Building a User-Agent List
To mimic real browsers, you need a collection of diverse User-Agent strings. You can find these online!
- Search for "list of user agents".
- Extract them from browser requests.
- Use libraries that maintain such lists.
Aim for a mix of different browsers (Chrome, Firefox, Safari) and operating systems.
Your First Custom Header
In Python, using the requests library, you can easily set custom headers for your requests. Let's start with a single User-Agent.
Try running this example:
import requests
url = "https://httpbin.org/headers"
headers = {
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36"
}
response = requests.get(url, headers=headers)
print(response.json()['headers']['User-Agent'])Dynamic User-Agent Selection
To make your requests appear more natural, you should rotate your User-Agent. This means picking a different one for each request (or after a few requests).
We can use Python's random module to select a User-Agent from a list.
Try running this example:
import requests
import random
user_agents = [
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36",
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36",
"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36"
]
url = "https://httpbin.org/headers"
random_ua = random.choice(user_agents)
headers = {"User-Agent": random_ua}
response = requests.get(url, headers=headers)
print(f"Used UA: {random_ua}")
print(response.json()['headers']['User-Agent'])Beyond User-Agent
While User-Agent is crucial, real browsers send many other headers. Including a few more can make your bot look even more legitimate.
- Accept-Language: e.g.,
en-US,en;q=0.9 - Accept-Encoding: e.g.,
gzip, deflate, br - Connection: e.g.,
keep-alive
You can rotate these too, or pick a consistent set that matches your chosen User-Agent's browser type.
A More Complete Header Set
Let's combine random User-Agent selection with a few other common headers to create a more robust request.
This makes your scraping bot harder to distinguish from a regular browser.
Try running this example:
import requests
import random
user_agents = [
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36",
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36",
"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36",
"Mozilla/5.0 (iPhone; CPU iPhone OS 13_5 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.1.1 Mobile/15E148 Safari/604.1"
]
url = "https://httpbin.org/headers"
random_ua = random.choice(user_agents)
headers = {
"User-Agent": random_ua,
"Accept-Language": "en-US,en;q=0.9",
"Accept-Encoding": "gzip, deflate, br",
"Connection": "keep-alive",
"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8"
}
response = requests.get(url, headers=headers)
print(f"Used UA: {random_ua}")
print("Received headers:")
for key, value in response.json()['headers'].items():
print(f" {key}: {value}")Header Rotation Check
You've learned how User-Agents and other HTTP headers are used in web requests. Rotating these can help avoid detection.
Which of the following are good reasons to rotate User-Agent and other HTTP headers when scraping?
Recap: Blending In
Great job! You've learned how critical HTTP headers, especially the User-Agent, are for web scraping.
- Websites use headers to identify clients.
- Consistent, generic headers flag bots.
- Rotating User-Agents and adding other common headers makes your bot harder to detect.
This is a powerful technique for blending in. Next, we'll explore proxy management to hide your IP address!
Perguntas Frequentes
A aula “Rotação de agentes de usuário e cabeçalhos” é grátis?
Sim — o texto completo de “Rotação de agentes de usuário e cabeçalhos” é grátis para ler aqui na web. Para praticá-la interativamente (um editor de código integrado e um tutor de IA 24/7) e desbloquear o restante do curso de Web Scraping & Bots, atualize para CoddyKit PRO. O curso de Web Scraping & Bots inclui 4 aulas no total.
O que vou aprender em “Rotação de agentes de usuário e cabeçalhos”?
Implemente a rotação dinâmica do agente do usuário e dos cabeçalhos HTTP para simular tráfego legítimo de navegador e evitar detecção. Você pratica Web Scraping & Bots com código prático que executa diretamente no navegador, e um tutor de IA 24/7 responde suas dúvidas enquanto trabalha na aula.
Preciso ter experiência prévia para começar Web Scraping & Bots?
Nenhuma experiência prévia é necessária. Web Scraping & Bots no CoddyKit é estruturado para alunos iniciantes até avançados, então você pode começar aqui ou desde o início e aprender no seu ritmo. Esta é a aula 1 de 4.
Quanto tempo leva a aula “Rotação de agentes de usuário e cabeçalhos”?
A maioria das aulas CoddyKit leva cerca de 5–10 minutos. Cada uma é compacta e interativa, então você faz progresso constante e retoma exatamente de onde parou entre web e app.
Posso escrever e executar código nesta aula de Web Scraping & Bots?
Sim. Cada aula de Web Scraping & Bots inclui um editor de código integrado, então você escreve e executa código real direto no navegador e recebe feedback de IA instantaneamente — nenhuma configuração local necessária.
Todas as aulas deste curso
- Rotação de agentes de usuário e cabeçalhos
- Gerenciamento de proxies e rotação de IP
- Estratégias para resolver CAPTCHAs
- Evitando a Impressão Digital do Navegador