Comprendre Robots.txt
Interprétez et respectez le fichier `robots.txt` afin de comprendre les règles et restrictions d’un site Web en matière de scraping.
Comprendre Robots.txt est une leçon Web Scraping & Bots gratuite sur CoddyKit. Ceci est la leçon 1 sur 4. Tu peux lire la leçon complète ci-dessous gratuitement — puis la pratiquer en direct dans le navigateur avec un éditeur de code intégré et un tuteur IA 24/7. Elle fait partie du parcours d'apprentissage Web Scraping & Bots, et ta progression se synchronise sur le web et l'application CoddyKit. Le cours Web Scraping & Bots comprend 4 leçons au total.
Certaines parties de cette leçon n'ont pas encore été traduites et s'affichent en anglais.
What is Robots.txt?
When building a web scraper or bot, it's crucial to be a good internet citizen. The robots.txt file is a key part of this.
It's a text file that websites use to communicate with web crawlers and other bots. It tells them which parts of the site they are allowed to access and which parts they should avoid.
Finding Robots.txt
Every website that uses a robots.txt file places it in a standard location: the root directory of its domain.
This means you can always find it by adding /robots.txt to the end of the website's main URL. For example:
https://www.example.com/robots.txthttps://www.google.com/robots.txt
You can simply type this into your browser to view a site's rules.
The User-agent Directive
The User-agent directive specifies which bot the following rules apply to. Think of it as addressing a specific bot or all bots.
User-agent: *: This applies to ALL web crawlers and bots.User-agent: Googlebot: This applies only to Google's specific web crawler.User-agent: MyCustomBot: You can even specify rules for your own bot if the website owner knows its name.
Each set of rules starts with a User-agent line.
Blocking Access: Disallow
The Disallow directive is used to tell bots which URLs or directories they should NOT access. It's the primary way to restrict crawling.
Here are some examples:
Disallow: /: Disallows access to the entire website (except forrobots.txtitself).Disallow: /private/: Disallows access to the/private/directory and everything within it.Disallow: /search?: Disallows URLs starting with/search?, often used for search results pages.
Always respect these rules!
Allowing Exceptions: Allow
Sometimes, a website might want to disallow a whole directory but allow access to a specific file or sub-directory within it. This is where the Allow directive comes in.
Allow rules override Disallow rules for more specific paths.
For example:
User-agent: *
Disallow: /images/
Allow: /images/public/This means all bots should avoid the /images/ folder, but they ARE allowed to access content within /images/public/.
Guiding with Sitemap
The Sitemap directive isn't about restricting access; it's about helping bots discover content.
It points to the XML Sitemap file(s) for the website. A sitemap lists all the pages and files a website owner wants search engines to crawl and index.
Example:
Sitemap: https://www.example.com/sitemap.xmlThis helps well-behaved bots find your content more efficiently.
Fetching Robots.txt with Python
You can easily fetch a website's robots.txt file using Python's requests library. This allows your script to programmatically read and interpret the rules.
Try running this example to see the robots.txt for Wikipedia:
import requests
def get_robots_txt(domain):
try:
response = requests.get(f"https://{domain}/robots.txt")
response.raise_for_status() # Raise HTTPError for bad responses
print(f"--- {domain}/robots.txt ---")
print(response.text)
print("--------------------------")
except requests.exceptions.RequestException as e:
print(f"Error fetching robots.txt for {domain}: {e}")
if __name__ == "__main__":
get_robots_txt("www.wikipedia.org")
# You can try other domains too!
# get_robots_txt("www.google.com")Interpreting Complex Rules
Let's look at a combined example to understand how rules interact:
User-agent: *
Disallow: /temp/
Disallow: /admin/
Allow: /admin/public/
User-agent: MyBot
Disallow: /- A general bot (
*) cannot access/temp/or/admin/, but it CAN access/admin/public/. - A bot named
MyBotcannot access ANYTHING on the site.
The most specific rule usually wins, especially Allow over Disallow for sub-paths.
Robots.txt is a Guideline, Not Security
It's crucial to understand that robots.txt is a voluntary agreement for well-behaved bots. It's not a security mechanism!
- Malicious bots can (and often will) ignore these rules.
- The content of
robots.txtitself is public. Don't put sensitive information there. - It's for managing server load and respecting content preferences, not hiding data.
Always scrape ethically and respect website policies.
Quick Check: Robots.txt Rules
Consider the following robots.txt content:
User-agent: *
Disallow: /private/
Allow: /private/data.html
Disallow: /temp/According to these rules, which path is a general bot (User-agent: *) explicitly allowed to access?
Recap: Respecting Robots.txt
In this lesson, we explored the robots.txt file, a fundamental component of ethical web scraping.
- You learned how to locate it and its core directives:
User-agent,Disallow,Allow, andSitemap. - We saw how to fetch and interpret these rules using Python.
- Crucially, we emphasized that
robots.txtis a guideline for respectful bots, not a security measure.
Always check and respect a website's robots.txt before scraping!
Questions Fréquemment Posées
La leçon « Comprendre Robots.txt » est-elle gratuite ?
Oui — le texte complet de « Comprendre Robots.txt » est gratuit à lire ici sur le web. Pour la pratiquer de manière interactive (un éditeur de code intégré et un tuteur IA 24/7) et déverrouiller le reste du cours Web Scraping & Bots, passe à CoddyKit PRO. Le cours Web Scraping & Bots comprend 4 leçons au total.
Qu'est-ce que j'apprendrai dans « Comprendre Robots.txt » ?
Interprétez et respectez le fichier `robots.txt` afin de comprendre les règles et restrictions d’un site Web en matière de scraping. Tu pratiques Web Scraping & Bots avec du code pratique que tu exécutes directement dans le navigateur, et un tuteur IA 24/7 répond à tes questions au fur et à mesure que tu avances dans la leçon.
Dois-je avoir de l'expérience pour commencer Web Scraping & Bots ?
Aucune expérience préalable n'est requise. Web Scraping & Bots sur CoddyKit est structuré pour les débutants jusqu'aux apprenants avancés, donc tu peux commencer ici ou depuis le début et avancer à ton rythme. Ceci est la leçon 1 sur 4.
Combien de temps prend la leçon « Comprendre Robots.txt » ?
La plupart des leçons CoddyKit prennent environ 5–10 minutes. Chacune est courte et interactive, tu progresses régulièrement et tu repiques exactement où tu t'es arrêté sur le web et l'app.
Peux-tu écrire et exécuter du code dans cette leçon Web Scraping & Bots ?
Oui. Chaque leçon Web Scraping & Bots inclut un éditeur de code intégré, tu écris et exécutes du vrai code directement dans ton navigateur et tu reçois des retours IA instantanés — aucune configuration locale requise.
Toutes les leçons de ce cours
- Comprendre Robots.txt
- Conditions d’utilisation et droits d’auteur
- Pratiques éthiques du scraping
- Limiter le débit et explorer le Web avec respect