0Pricing
Web Scraping & Bots · レッスン

BeautifulSoupによるデータ抽出

BeautifulSoupでHTMLドキュメントをパースし、タグ、クラス、IDを使って特定のデータを抽出します。

「BeautifulSoupによるデータ抽出」はCoddyKit上の無料Web Scraping & Botsレッスンです。 これはレッスン3/4です。 下記で完全なレッスンを無料で読むことができます。その後、ブラウザ内の組み込みコードエディタと24時間対応のAIチューターでハンズオン演習できます。 これはWeb Scraping & Bots学習パスの一部であり、ウェブとCoddyKitアプリ全体で進捗が同期されます。 Web Scraping & Botsコースには全4レッスンが含まれています。

このレッスンの一部はまだ翻訳されておらず、英語で表示されています。

BeautifulSoup: Your HTML Navigator

You've learned to fetch web page content using requests. But that content is just a big string of HTML!

BeautifulSoup is a Python library that helps you parse (understand) that HTML. It turns the raw HTML into a tree-like structure, making it easy to navigate and extract specific data.

Why Use a Parser?

Imagine trying to find a specific sentence in a book without page numbers or chapters. That's like trying to extract data from raw HTML strings!

BeautifulSoup gives structure to the HTML, allowing you to easily locate elements like headings, paragraphs, or links using their tags, classes, or IDs.

Creating a BeautifulSoup Object

First, you need to import the library and create a BeautifulSoup object. You pass your HTML content and specify a parser, usually 'html.parser'.

from bs4 import BeautifulSoup

html_doc = """<html><head><title>My Page</title></head><body><h1>Hello</h1><p>World</p></body></html>"""

soup = BeautifulSoup(html_doc, 'html.parser')

print(soup.prettify())

Finding Elements by Tag

The simplest way to find elements is by their HTML tag name. You can use soup.find() to get the first matching tag or soup.find_all() to get all matching tags.

  • find('tag_name'): Returns a single Tag object or None.
  • find_all('tag_name'): Returns a list of Tag objects.

Code: Finding Tags

Let's find the <title> and all <p> tags in our example HTML.

from bs4 import BeautifulSoup

html_doc = """<html><head><title>My Page</title></head><body><h1>Welcome!</h1><p class='intro'>This is an intro.</p><p>Another paragraph.</p></body></html>"""

soup = BeautifulSoup(html_doc, 'html.parser')

# Find the first title tag
title_tag = soup.find('title')
print(f"Title tag: {title_tag}")

# Find all paragraph tags
paragraph_tags = soup.find_all('p')
print(f"Paragraph tags found: {len(paragraph_tags)}")
for p in paragraph_tags:
    print(f" - {p.get_text()}")

Extracting Text and Attributes

Once you have a Tag object, you can easily get its text content or attribute values.

  • To get text: Use the .get_text() method.
  • To get attributes: Access them like a dictionary, e.g., tag['href'] or tag.get('href').

Code: Getting Text and Attributes

Let's extract the text from the <h1> and an attribute from a link.

from bs4 import BeautifulSoup

html_doc = """<html><body><h1 id='main-h1'>Hello CoddyKit</h1><a href='https://example.com' class='btn'>Visit Example</a></body></html>"""

soup = BeautifulSoup(html_doc, 'html.parser')

h1_tag = soup.find('h1')
print(f"H1 Text: {h1_tag.get_text()}")

link_tag = soup.find('a')
print(f"Link Text: {link_tag.get_text()}")
print(f"Link Href: {link_tag['href']}")
print(f"Link Class: {link_tag['class']}")

Finding Elements by Class

Web pages often use CSS classes to style and identify elements. BeautifulSoup lets you search for elements with a specific class using the class_ argument.

Why class_ and not class? Because class is a reserved keyword in Python!

Code: Finding by Class

Here's how to find paragraphs specifically marked with class="intro".

from bs4 import BeautifulSoup

html_doc = """<html><body><p class='intro'>Welcome message.</p><p>Normal text.</p><p class='intro'>Another intro.</p></body></html>"""

soup = BeautifulSoup(html_doc, 'html.parser')

intro_paragraphs = soup.find_all('p', class_='intro')

for p in intro_paragraphs:
    print(f"Found intro: {p.get_text()}")

Finding Elements by ID

HTML IDs are unique identifiers for elements within a page. You can target a specific element using its ID with the id argument.

Since IDs should be unique per page, find() is often sufficient when searching by ID.

Quick Check: Element Selection

Given the HTML snippet below, how would you extract the text 'Item 2'?

<div id="items">
  <span class="item-name">Item 1</span>
  <span class="item-name">Item 2</span>
  <span class="item-name">Item 3</span>
</div>

Recap: BeautifulSoup Basics

Great job! You've learned the fundamentals of extracting data using BeautifulSoup:

  • Initializing a BeautifulSoup object from HTML.
  • Finding elements by tag name using find() and find_all().
  • Extracting text content with .get_text() and attributes with tag['attr'].
  • Targeting elements precisely using CSS classes with class_.
  • Locating unique elements with IDs using id.

These methods are your building blocks for parsing web pages efficiently!

よくある質問

「BeautifulSoupによるデータ抽出」レッスンは無料ですか？

はい。「BeautifulSoupによるデータ抽出」の完全なテキストはこのウェブで無料で読めます。インタラクティブに演習し（組み込みコードエディタと24時間対応のAIチューター）、Web Scraping & Botsコースの残りをアンロックするには、CoddyKit PROにアップグレードしてください。 Web Scraping & Botsコースには全4レッスンが含まれています。

「BeautifulSoupによるデータ抽出」で何を学びますか？

BeautifulSoupでHTMLドキュメントをパースし、タグ、クラス、IDを使って特定のデータを抽出します。 ブラウザで直接実行するハンズオンコードでWeb Scraping & Botsを演習し、24時間対応のAIチューターがレッスンを進める中での質問に答えます。

Web Scraping & Botsを始めるのに経験は必要ですか？

事前経験は必要ありません。CoddyKitのWeb Scraping & Botsは初級者から上級者向けに構成されているため、ここから始めるか最初から始めて、自分のペースで進むことができます。 これはレッスン3/4です。

「BeautifulSoupによるデータ抽出」レッスンにはどのくらい時間がかかりますか？

ほとんどのCoddyKitレッスンは約5～10分かかります。各レッスンはコンパクトでインタラクティブなので、着実に進歩し、ウェブとアプリ全体で正確に前回の場所から再開できます。

このWeb Scraping & Botsレッスンでコードを書いて実行できますか？

はい。すべてのWeb Scraping & Botsレッスンに組み込みコードエディタが含まれているため、ブラウザでリアルコードを書いて実行し、即座のAIフィードバックを取得できます。ローカル設定は不要です。

このコースのすべてのレッスン

  1. 環境のセットアップ
  2. URLに対するRequestsの利用
  3. BeautifulSoupによるデータ抽出
  4. CSS セレクターで DOM をたどる
← Web Scraping & Botsに戻る