Python Academy · 课时

构建 Scrapy 爬虫

Q: 「构建 Scrapy 爬虫」这节课中我会学到什么？

创建 Scrapy 项目、编写爬虫，并自动跟踪链接。 你通过在浏览器中直接运行的动手代码来练习 Python Academy，全天候 AI 导师会在你学习这节课的过程中回答你的问题。

创建 Scrapy 项目、编写爬虫，并自动跟踪链接。

构建 Scrapy 爬虫 是 CoddyKit 上的免费 Python Academy 课时。这是第 3 节课，共 4 节。你可以在下方免费阅读本课时的完整内容 — 然后在浏览器中使用内置代码编辑器和全天候 AI 导师进行实践。这是 Python Academy 学习路径的一部分，你的进度在网页和 CoddyKit 应用中同步。 Python Academy 课程共包含 4 节课。

什么是 Scrapy？

Scrapy 是功能完整的网页抓取框架，内置异步爬取、条目流水线、中间件和导出器。

# pip install scrapy

# Create a project:
# scrapy startproject myspider

# myspider/
#   scrapy.cfg
#   myspider/
#     settings.py
#     spiders/
#       quotes_spider.py

创建 Spider

继承 scrapy.Spider，设置 name 和 start_urls，然后实现 parse()。

import scrapy

class QuotesSpider(scrapy.Spider):
    name = "quotes"
    start_urls = ["https://quotes.toscrape.com"]

    def parse(self, response):
        for quote in response.css("div.quote"):
            yield {
                "text": quote.css("span.text::text").get(),
                "author": quote.css("small.author::text").get(),
            }

CSS 和 XPath 选择器

使用 response.css("selector") 或 response.xpath("//xpath") 提取数据。.get() 返回第一个匹配项；.getall() 返回所有匹配项。

def parse(self, response):
    # CSS:
    titles = response.css("h2.title::text").getall()

    # XPath:
    links = response.xpath("//a/@href").getall()

    yield {"titles": titles, "links": links}

跟随链接

生成一个 scrapy.Request 来跟随链接并解析下一页。

import scrapy

class Spider(scrapy.Spider):
    name = "crawler"
    start_urls = ["https://quotes.toscrape.com"]

    def parse(self, response):
        for quote in response.css("div.quote"):
            yield {"text": quote.css("span.text::text").get()}

        next_page = response.css("li.next a::attr(href)").get()
        if next_page:
            yield response.follow(next_page, self.parse)

条目和 ItemLoaders

定义 Item 类来组织抓取的数据，并使用 ItemLoader 清理和转换字段。

import scrapy

class ProductItem(scrapy.Item):
    name  = scrapy.Field()
    price = scrapy.Field()
    url   = scrapy.Field()

def parse(self, response):
    item = ProductItem()
    item["name"]  = response.css("h1::text").get(strip=True)
    item["price"] = response.css(".price::text").re_first(r"[\d.]+")
    item["url"]   = response.url
    yield item

运行 Spider

从项目目录运行。将结果导出为 JSON、CSV，或使用自定义流水线导出。

# Run and print to console:
# scrapy crawl quotes

# Save to JSON:
# scrapy crawl quotes -o quotes.json

# Save to CSV:
# scrapy crawl quotes -o quotes.csv

# Scrapy shell for interactive testing:
# scrapy shell "https://quotes.toscrape.com"

设置：DOWNLOAD_DELAY 和 CONCURRENT_REQUESTS

请保持礼貌：添加延迟并限制并发请求，避免使服务器过载。

# settings.py
DOWNLOAD_DELAY = 1          # 1 second between requests
CONCURRENT_REQUESTS = 8     # max 8 at a time
CONCURRENT_REQUESTS_PER_DOMAIN = 2
ROBOTSTXT_OBEY = True       # respect robots.txt

中间件

中间件会拦截请求和响应。使用内置中间件实现用户代理轮换、重试和 Cookie 处理。

# settings.py
DOWNLOADER_MIDDLEWARES = {
    "scrapy.downloadermiddlewares.retry.RetryMiddleware": 550,
    "scrapy.downloadermiddlewares.useragent.UserAgentMiddleware": None,
    "myspider.middlewares.RotateUserAgentMiddleware": 400,
}

条目流水线

流水线会在抓取后处理条目：清理数据、验证数据、去重，并保存到数据库。

# pipelines.py
class CleanPipeline:
    def process_item(self, item, spider):
        item["name"] = item["name"].strip()
        return item

class DBPipeline:
    def open_spider(self, spider):
        self.conn = connect_db()

    def process_item(self, item, spider):
        self.conn.insert(dict(item))
        return item

处理登录

使用 Scrapy 的 FormRequest 提交登录表单，并持久化会话 Cookie。

import scrapy

class AuthSpider(scrapy.Spider):
    name = "auth"
    login_url = "https://example.com/login"

    def start_requests(self):
        yield scrapy.Request(self.login_url, self.login)

    def login(self, response):
        yield scrapy.FormRequest.from_response(
            response,
            formdata={"user": "me", "pass": "secret"},
            callback=self.parse
        )

用于 JS 页面的 scrapy-playwright

scrapy-playwright 插件将 Playwright 集成到 Scrapy 中，以处理由 JavaScript 渲染的页面。

# pip install scrapy-playwright
# playwright install

# settings.py:
# DOWNLOAD_HANDLERS = {
#     "http": "scrapy_playwright.handler.ScrapyPlaywrightDownloadHandler",
#     "https": "scrapy_playwright.handler.ScrapyPlaywrightDownloadHandler",
# }

# In spider:
# yield scrapy.Request(url, meta={"playwright": True})

快速检查

在 Scrapy Spider 中，response.follow(href, callback) 会做什么？

回顾

Scrapy Spider 继承 scrapy.Spider，声明 start_urls，并从 parse() 中生成条目或进一步的 Request。使用 CSS/XPath 选择器，通过 DOWNLOAD_DELAY 保持适当的请求间隔，并使用流水线持久化数据。

常见问题解答

「构建 Scrapy 爬虫」课时是免费的吗？

是的 — 「构建 Scrapy 爬虫」的完整文本可在网页上免费阅读。要进行交互式练习（内置代码编辑器和全天候 AI 导师）并解锁 Python Academy 课程的其余内容，请升级到 CoddyKit PRO。 Python Academy 课程共包含 4 节课。

「构建 Scrapy 爬虫」这节课中我会学到什么？

创建 Scrapy 项目、编写爬虫，并自动跟踪链接。你通过在浏览器中直接运行的动手代码来练习 Python Academy，全天候 AI 导师会在你学习这节课的过程中回答你的问题。

学习 Python Academy 需要有经验吗？

无需任何先前经验。CoddyKit 上的 Python Academy 课程适合初学者到高级学习者，你可以从这里开始或从头开始，按照自己的节奏学习。这是第 3 节课，共 4 节。

「构建 Scrapy 爬虫」课时需要多长时间？

大多数 CoddyKit 课程大约需要 5–10 分钟。每节课都很精短且互动，所以你能稳步进步，并在网页和应用中从离开的地方继续。

我能在这节 Python Academy 课中编写并运行代码吗？

能。每节 Python Academy 课都包含内置代码编辑器，你可以在浏览器中直接编写并运行真实代码，并获得即时 AI 反馈 — 无需本地设置。

此课程中的所有课时

← 返回 Python Academy