0Pricing
R Academy · Lektion

Tabellen und Links scrapen

Parsen Sie HTML-Tabellen in Data Frames und sammeln Sie alle Hyperlinks einer Seite.

Tabellen und Links scrapen ist eine kostenlose R Academy-Lektion auf CoddyKit. Dies ist Lektion 3 von 4. Du kannst die komplette Lektion unten kostenlos lesen – dann übst du sie direkt im Browser mit einem integrierten Code-Editor und einem KI-Tutor rund um die Uhr. Sie ist Teil des R Academy-Lernpfads, und dein Fortschritt wird über Web und CoddyKit-App synchronisiert. Der R Academy-Kurs umfasst insgesamt 4 Lektionen.

HTML-Tabellen auf Webseiten

HTML-Tabellen (<table>) sind die bequemsten Ziele für das Scraping, da sie bereits strukturiert sind. rvests html_table() wandelt sie direkt in R-Data-Frames um und verarbeitet die Kopfzeilen automatisch.

library(rvest)
html <- read_html('
  <table>
    <thead><tr><th>Country</th><th>GDP</th><th>Pop</th></tr></thead>
    <tbody>
      <tr><td>USA</td><td>25T</td><td>330M</td></tr>
      <tr><td>China</td><td>18T</td><td>1400M</td></tr>
    </tbody>
  </table>
')
# html_table converts to data frame
tbl <- html_table(html_element(html, 'table'))
class(tbl)      # 'data.frame'
names(tbl)      # c('Country', 'GDP', 'Pop')
nrow(tbl)       # 2
print(tbl)

html_table() für eine vollständige Seite

Wenn eine Seite mehrere Tabellen enthält, verwenden Sie html_elements() (Plural), um alle Tabellen abzurufen, und anschließend html_table() für das resultierende Nodeset, um eine Liste von Data Frames zurückzugeben. Wählen Sie die benötigte Tabelle anhand ihres Index aus.

library(rvest)
html <- read_html('
  <table id="t1"><tr><th>A</th></tr><tr><td>1</td></tr></table>
  <table id="t2"><tr><th>X</th><th>Y</th></tr>
    <tr><td>10</td><td>20</td></tr></table>
')
# Get ALL tables as a list of data frames
tables <- html_table(html_elements(html, 'table'))
length(tables)  # 2

# First table
tables[[1]]

# Second table
tables[[2]]

# Select a specific table by its id
table2 <- html_table(html_element(html, '#t2'))
print(table2)

Tabellendaten bereinigen

Von Webseiten ausgelesene Tabellen enthalten häufig unübersichtliche Kopfzeilen, verbundene Zellen oder überflüssigen Leerraum. Verwenden Sie janitor::clean_names() für die Kopfzeilen sowie standardmäßige dplyr-/stringr-Operationen, um die Zellwerte zu bereinigen.

library(rvest)
html <- read_html('
  <table>
    <tr><th>Product Name</th><th>Price (USD)</th><th>In Stock?</th></tr>
    <tr><td>  Widget A  </td><td>$12.50</td><td>Yes</td></tr>
    <tr><td>Gadget B</td><td>$7.99</td><td>No</td></tr>
  </table>
')
df <- html_table(html_element(html, 'table'))

# Clean column names
names(df) <- c('product', 'price', 'in_stock')

# Strip whitespace and dollar signs
df$product  <- trimws(df$product)
df$price    <- as.numeric(gsub('[$]', '', df$price))
df$in_stock <- df$in_stock == 'Yes'
print(df)

Alle Links einer Seite auslesen

Links sind Anker-Tags (<a>) mit href-Attributen. Verwenden Sie html_elements(page, 'a'), um alle Anker abzurufen, anschließend html_attr('href') für die URLs und html_text2() für den Linktext.

library(rvest)
html <- read_html('
  <div>
    <a href="/about">About Us</a>
    <a href="/products">Products</a>
    <a href="https://partner.com" rel="external">Partner</a>
    <a>No href link</a>
  </div>
')
# Get all anchor elements
anchors <- html_elements(html, 'a')

# Extract text and href
link_text <- html_text2(anchors)
link_href <- html_attr(anchors, 'href')

data.frame(text = link_text, href = link_href)
# Note: last row has NA href

Bedeutungsvolle Links filtern

Reale Seiten enthalten Navigationslinks, Footer-Links und interne Anker zusammen mit den Links, die Sie tatsächlich benötigen. Entfernen Sie beim Filtern NAs, Anker (#) und javascript:-Links und verwenden Sie eine Musterübereinstimmung, um nur relevante URLs beizubehalten.

library(rvest)
html <- read_html('
  <div>
    <a href="/article/1">Article One</a>
    <a href="/article/2">Article Two</a>
    <a href="#top">Back to top</a>
    <a href="javascript:void(0)">JS link</a>
    <a href="/article/3">Article Three</a>
  </div>
')
anchors <- html_elements(html, 'a')
hrefs <- html_attr(anchors, 'href')
texts <- html_text2(anchors)

# Keep only article links
article_idx <- grepl('^/article/', hrefs) & !is.na(hrefs)
article_links <- data.frame(
  text = texts[article_idx],
  href = hrefs[article_idx]
)
print(article_links)

Von relativen zu absoluten URLs

Ausgelesene href-Werte sind häufig relative Pfade wie /page. Wandeln Sie sie in absolute URLs um, indem Sie die Basis-URL voranstellen. Die Funktion xml2::url_absolute() erledigt dies korrekt.

library(rvest)
base_url <- 'https://books.toscrape.com'

html <- read_html('
  <ul>
    <li><a href="/catalogue/book1">Book One</a></li>
    <li><a href="/catalogue/book2">Book Two</a></li>
    <li><a href="https://external.com/book">External</a></li>
  </ul>
')
hrefs <- html_attr(html_elements(html, 'a'), 'href')

# xml2::url_absolute resolves relative + keeps absolute
abs_urls <- xml2::url_absolute(hrefs, base = base_url)
abs_urls
# 'https://books.toscrape.com/catalogue/book1'
# 'https://books.toscrape.com/catalogue/book2'
# 'https://external.com/book'  <- kept as-is

Gezieltes Auslesen von Links

Statt alle Links auszulesen und anschließend zu filtern, verwenden Sie spezifische CSS-Selektoren, um nur die benötigten Links gezielt auszuwählen. Kombinieren Sie den Elementkontext mit Attributselektoren, um präzise Ergebnisse zu erhalten.

library(rvest)
html <- read_html('
  <nav class="breadcrumb">
    <a href="/">Home</a> > <a href="/books">Books</a>
  </nav>
  <ul class="products">
    <li><a href="/books/1" class="prod-link">Clean Code</a></li>
    <li><a href="/books/2" class="prod-link">Refactoring</a></li>
  </ul>
  <footer>
    <a href="/privacy">Privacy</a>
  </footer>
')
# Target ONLY product links (not nav or footer)
prod_links <- html_elements(html, 'ul.products a.prod-link')
data.frame(
  title = html_text2(prod_links),
  url   = html_attr(prod_links, 'href')
)

Tabellen- und Linkdaten zusammenführen

Häufig enthalten die Zellen einer Tabelle Links. Kombinieren Sie html_table() für die Textwerte mit gezielten Aufrufen von html_attr() für die eingebetteten Links, um einen umfangreicheren Data Frame zu erstellen.

library(rvest)
html <- read_html('
  <table class="results">
    <tr><th>Book</th><th>Author</th></tr>
    <tr>
      <td><a href="/b/1">Clean Code</a></td>
      <td>Robert Martin</td>
    </tr>
    <tr>
      <td><a href="/b/2">Refactoring</a></td>
      <td>Martin Fowler</td>
    </tr>
  </table>
')
# Get text from table
df <- html_table(html_element(html, 'table'))

# Get links embedded in first column
links <- html_attr(html_elements(html, 'table td a'), 'href')
df$url <- links
print(df)

Der Parameter fill von html_table()

HTML-Tabellen enthalten manchmal fehlende Zellen oder unregelmäßig strukturierte Zeilen. Der Parameter fill=TRUE in html_table() füllt fehlende Werte mit NA, anstatt einen Fehler auszulösen.

library(rvest)
html <- read_html('
  <table>
    <tr><th>Name</th><th>Score</th><th>Grade</th></tr>
    <tr><td>Alice</td><td>95</td><td>A</td></tr>
    <tr><td>Bob</td><td>80</td></tr>
  </table>
')
# Without fill=TRUE this may error on uneven rows
df <- html_table(html_element(html, 'table'), fill = TRUE)
print(df)
# Name  Score Grade
# Alice    95     A
# Bob      80  <NA>

# fill=TRUE is safe even when rows are uniform
is.na(df[2, 'Grade'])  # TRUE

Bildquellen extrahieren

Bilder verwenden src-Attribute (und manchmal data-src für verzögertes Laden). Mit demselben Ansatz über html_attr() können Sie Bild-URLs zum Herunterladen oder Katalogisieren extrahieren.

library(rvest)
html <- read_html('
  <div class="gallery">
    <img src="/img/photo1.jpg" alt="Sunset">
    <img src="/img/photo2.jpg" alt="Mountains">
    <img data-src="/img/lazy.jpg" class="lazy" alt="Lake">
  </div>
')
# Regular images
images <- html_elements(html, 'img')
srcs  <- html_attr(images, 'src')
alts  <- html_attr(images, 'alt')

data.frame(alt = alts, src = srcs)
# For lazy-loaded images check data-src
lazy_src <- html_attr(html_element(html, '.lazy'), 'data-src')
lazy_src  # '/img/lazy.jpg'

Ausgelesene Daten speichern

Nachdem Sie Tabellen und Links in einen Data Frame eingelesen haben, speichern Sie die Ergebnisse mit write.csv() oder readr::write_csv(). Fügen Sie für die Datenherkunft immer einen Zeitstempel oder die Quell-URL hinzu.

library(rvest)
html <- read_html('
  <table>
    <tr><th>Product</th><th>Price</th></tr>
    <tr><td>Widget</td><td>9.99</td></tr>
    <tr><td>Gadget</td><td>14.50</td></tr>
  </table>
')
df <- html_table(html_element(html, 'table'))

# Add metadata
df$scraped_at <- Sys.time()
df$source_url <- 'https://example.com/products'

# Save to CSV
# write.csv(df, 'products.csv', row.names = FALSE)
print(df)
cat('Data ready for analysis or storage')

Kurztest

Testen Sie Ihr Verständnis des Auslesens von HTML-Tabellen und Links mit rvest.

Rückblick: Tabellen und Links

Wichtige Erkenntnisse: html_table() wandelt HTML-Tabellen automatisch in Data Frames um; verwenden Sie fill=TRUE für unregelmäßige Tabellen. Für Links rufen Sie alle Anker mit html_elements('a') ab, den Text mit html_text2() und die URLs mit html_attr('href'). Wandeln Sie relative URLs mit xml2::url_absolute() in absolute URLs um. Filtern Sie unerwünschte Links anhand eines Musters. Führen Sie Tabellentext und eingebettete Link-URLs zusammen, um umfangreichere Datensätze zu erstellen.

library(rvest)
# Table scraping pattern:
# tables <- html_table(html_elements(page, 'table'))
# df <- tables[[1]]

# Link scraping pattern:
# links <- html_elements(page, 'a[href]')
# data.frame(
#   text = html_text2(links),
#   url  = xml2::url_absolute(
#            html_attr(links, 'href'),
#            base = base_url
#          )
# )

# Combine: scrape table text AND embedded link URLs
cat('Tables + links = most of what the web offers')

Häufig gestellte Fragen

Ist die Lektion „Tabellen und Links scrapen“ kostenlos?

Ja — der vollständige Text von „Tabellen und Links scrapen“ ist hier im Web kostenlos zu lesen. Um sie interaktiv zu üben (integrierter Code-Editor und 24/7 KI-Tutor) und den Rest des R Academy-Kurses freizuschalten, upgrade auf CoddyKit PRO. Der R Academy-Kurs umfasst insgesamt 4 Lektionen.

Was lerne ich in „Tabellen und Links scrapen“?

Parsen Sie HTML-Tabellen in Data Frames und sammeln Sie alle Hyperlinks einer Seite. Du übst R Academy mit praktischem Code, den du direkt im Browser ausführst, und ein 24/7 KI-Tutor beantwortet deine Fragen während du die Lektion bearbeitest.

Brauche ich Erfahrung, um R Academy zu starten?

Keine Vorkenntnisse erforderlich. R Academy auf CoddyKit ist für Anfänger bis fortgeschrittene Lernende strukturiert, sodass du hier starten oder von Anfang an beginnen und in deinem eigenen Tempo voranschreiten kannst. Dies ist Lektion 3 von 4.

Wie lange dauert die Lektion „Tabellen und Links scrapen“?

Die meisten CoddyKit-Lektionen dauern etwa 5–10 Minuten. Jede ist kompakt und interaktiv, sodass du stetig Fortschritte machst und genau dort weitermachst, wo du aufgehört hast – im Web und in der App.

Kann ich in dieser R Academy-Lektion Code schreiben und ausführen?

Ja. Jede R Academy-Lektion enthält einen integrierten Code-Editor, sodass du echten Code direkt in deinem Browser schreibst und ausführst und sofort KI-Feedback erhältst — ohne lokale Einrichtung erforderlich.

Alle Lektionen in diesem Kurs

  1. HTML-Struktur und CSS-Selektoren
  2. Grundlagen von html_element() und html_text()
  3. Tabellen und Links scrapen
  4. Paginierung und mehrere Seiten verarbeiten
← Zurück zu R Academy