Parsing dell'HTML con BeautifulSoup
Esplori l'albero di parsing ed estragga dati con i selettori.
Parsing dell'HTML con BeautifulSoup è una lezione Python Academy gratuita su CoddyKit. Questa è la lezione 2 di 4. Puoi leggere la lezione completa qui gratuitamente — poi esercitati direttamente nel browser con un editor di codice integrato e un tutor IA disponibile 24/7. Fa parte del percorso di apprendimento Python Academy, e i tuoi progressi si sincronizzano tra il web e l'app CoddyKit. Il corso Python Academy include 4 lezioni in totale.
Installazione di BeautifulSoup
beautifulsoup4 analizza HTML e XML. Utilizzi il parser lxml per la velocità o html.parser per non avere dipendenze.
# pip install beautifulsoup4 lxml
from bs4 import BeautifulSoup
html = "<h1>Hello</h1><p class='intro'>World</p>"
soup = BeautifulSoup(html, "lxml")
print(soup.h1.text) # HelloRicerca degli elementi
find(tag) restituisce il primo elemento corrispondente. find_all(tag) restituisce un elenco di tutti gli elementi corrispondenti.
from bs4 import BeautifulSoup
html = "<ul><li>A</li><li>B</li><li>C</li></ul>"
soup = BeautifulSoup(html, "lxml")
print(soup.find("li").text) # A
print([li.text for li in soup.find_all("li")]) # [A,B,C]Selettori CSS
soup.select("css selector") utilizza la sintassi CSS. soup.select_one() restituisce la prima corrispondenza.
from bs4 import BeautifulSoup
html = '<div class="card"><a href="/p/1">Link 1</a></div>'
soup = BeautifulSoup(html, "lxml")
print(soup.select("div.card a")[0]["href"]) # /p/1
print(soup.select_one("a")["href"]) # /p/1Accesso agli attributi
Acceda agli attributi dei tag come a quelli di un dizionario: tag["href"], tag.get("class", []).
from bs4 import BeautifulSoup
html = '<a href="https://example.com" class="link external">Click</a>'
soup = BeautifulSoup(html, "lxml")
a = soup.find("a")
print(a["href"]) # https://example.com
print(a.get("class", [])) # ['link', 'external']Navigazione dell'albero di parsing
Utilizzi .parent, .children, .next_sibling, .previous_sibling per attraversare l'albero.
from bs4 import BeautifulSoup
html = "<div><h2>Title</h2><p>Para</p></div>"
soup = BeautifulSoup(html, "lxml")
h2 = soup.find("h2")
print(h2.parent.name) # div
print(h2.next_sibling.text) # Para (next sibling)Estrazione del testo
tag.get_text(separator=" ", strip=True) restituisce tutto il testo contenuto in un tag, ripulendo gli spazi bianchi.
from bs4 import BeautifulSoup
html = "<div> <p>Hello</p> <p> World </p> </div>"
soup = BeautifulSoup(html, "lxml")
print(soup.div.get_text(separator=" ", strip=True))
# Hello WorldScraping con requests + BeautifulSoup
Recuperi una pagina con requests e la analizzi con BeautifulSoup — la classica combinazione per lo scraping.
import requests
from bs4 import BeautifulSoup
url = "https://books.toscrape.com"
r = requests.get(url, timeout=10)
soup = BeautifulSoup(r.text, "lxml")
titles = [h3.find("a")["title"] for h3 in soup.select("article.product_pod h3")]
print(titles[:3])Gestione degli URL relativi
Utilizzi urllib.parse.urljoin(base, href) per convertire i link relativi in URL assoluti.
from urllib.parse import urljoin
base = "https://example.com/products/"
href = "../about"
print(urljoin(base, href)) # https://example.com/aboutGestione delle codifiche
BeautifulSoup rileva automaticamente la codifica, ma può specificarla oppure utilizzare r.encoding di requests.
import requests
from bs4 import BeautifulSoup
r = requests.get("https://example.com")
print(r.encoding) # e.g. utf-8
soup = BeautifulSoup(r.content, "lxml", from_encoding=r.encoding)Modifica e serializzazione
Modifichi l'albero di parsing e lo riconverta in HTML con str(tag) o soup.prettify().
from bs4 import BeautifulSoup
html = "<p>Hello <b>world</b></p>"
soup = BeautifulSoup(html, "lxml")
soup.b.decompose() # remove the <b> tag
print(str(soup.p)) # <p>Hello </p>Limiti di BeautifulSoup
BS4 analizza HTML statico. Non può eseguire JavaScript. Per le pagine renderizzate da JavaScript utilizzi Playwright o Selenium.
# BeautifulSoup: good for static HTML
# Playwright: for JavaScript-rendered SPAs
# Scrapy: for large-scale crawls with pipelines
# pip install playwright
# playwright install
# from playwright.async_api import async_playwrightVerifica rapida
Quale metodo restituisce tutti gli elementi che corrispondono a un selettore CSS in BeautifulSoup?
Riepilogo
BeautifulSoup analizza HTML trasformandolo in un albero navigabile. Utilizzi find()/find_all() per cercare i tag, select() per i selettori CSS e get_text() per ottenere testo pulito. Lo abbini a requests per le pagine statiche; utilizzi Playwright per i contenuti renderizzati da JavaScript.
Domande Frequenti
La lezione «Parsing dell'HTML con BeautifulSoup» è gratuita?
Sì — il testo completo di «Parsing dell'HTML con BeautifulSoup» è gratuito qui sul web. Per esercitarvi in modo interattivo (un editor di codice integrato e un tutor IA 24/7) e sbloccare il resto del corso Python Academy, passa a CoddyKit PRO. Il corso Python Academy include 4 lezioni in totale.
Cosa imparerò in «Parsing dell'HTML con BeautifulSoup»?
Esplori l'albero di parsing ed estragga dati con i selettori. Eserciti Python Academy con codice pratico che esegui direttamente nel browser, e un tutor IA 24/7 risponde alle tue domande mentre lavori sulla lezione.
Ho bisogno di esperienza per iniziare Python Academy?
Non è richiesta alcuna esperienza precedente. Python Academy su CoddyKit è strutturato per principianti e studenti avanzati, quindi puoi iniziare da qui o dall'inizio e procedere al tuo ritmo. Questa è la lezione 2 di 4.
Quanto tempo richiede la lezione «Parsing dell'HTML con BeautifulSoup»?
La maggior parte delle lezioni CoddyKit richiede circa 5–10 minuti. Ogni lezione è breve e interattiva, quindi fai progressi costanti e riprendi esattamente da dove hai lasciato su web e app.
Posso scrivere ed eseguire codice in questa lezione Python Academy?
Sì. Ogni lezione Python Academy include un editor di codice integrato, quindi scrivi ed esegui codice reale direttamente nel tuo browser e ricevi feedback istantaneo dall'IA — nessuna configurazione locale necessaria.
Tutte le lezioni di questo corso
- Richieste HTTP con requests e httpx
- Parsing dell'HTML con BeautifulSoup
- Creazione di uno spider Scrapy
- Gestione di JavaScript e misure anti-scraping