Scala for Backend Engineering & Functional Programming · Lekcja

RDD i DataFrame’y

Abstrakcje danych Spark

RDD i DataFrame’y to bezpłatna lekcja Scala for Backend Engineering & Functional Programming na CoddyKit. To lekcja 1 z 4. Możesz przeczytać całą lekcję poniżej za darmo — a potem ćwiczyć ją interaktywnie w przeglądarce z wbudowanym edytorem kodu i tutorem AI dostępnym 24/7. To część ścieżki edukacyjnej Scala for Backend Engineering & Functional Programming, a Twój postęp synchronizuje się między webem a aplikacją CoddyKit. Kurs Scala for Backend Engineering & Functional Programming zawiera 4 lekcji w sumie.

Czym jest Apache Spark?

Apache Spark to rozproszony silnik do przetwarzania danych na dużą skalę. Dzieli dane między węzły klastra i wykonuje obliczenia równolegle. Scala jest natywnym językiem Sparka, zapewniającym zwięzłe API uwzględniające typy.

RDD

Resilient Distributed Dataset (RDD) to niskopoziomowa abstrakcja Sparka: niezmienna, podzielona na partycje kolekcja, którą można przetwarzać równolegle i odtworzyć na podstawie linii pochodzenia w razie awarii węzła.

SparkContext i SparkSession

Z platformą Spark komunikujesz się za pośrednictwem SparkSession. Jej sparkContext tworzy RDD, a sama sesja tworzy DataFrame'y i wykonuje SQL.

import org.apache.spark.sql.SparkSession

val spark = SparkSession.builder()
  .appName("Demo")
  .master("local[*]")
  .getOrCreate()

Tworzenie RDD

Utwórz RDD, równolegląc lokalną kolekcję lub odczytując plik. Każda partycja jest przetwarzana przez osobne zadanie.

val sc = spark.sparkContext
val numbers = sc.parallelize(Seq(1, 2, 3, 4, 5))
val lines   = sc.textFile("data.txt")

DataFrame

DataFrame to rozproszona tabela z nazwanymi kolumnami o określonych typach — podobna do RDD wierszy wraz ze schematem. Optymalizator Catalyst może planować i optymalizować zapytania DataFrame.

Tworzenie DataFrame

Twórz DataFrame'y z kolekcji (za pomocą toDF) lub odczytując ustrukturyzowane pliki, takie jak CSV, JSON czy Parquet.

import spark.implicits._

val df = Seq(("Alice", 30), ("Bob", 25)).toDF("name", "age")
val csv = spark.read.option("header", "true").csv("people.csv")

Sprawdzanie DataFrame

Użyj show, aby wyświetlić wiersze, printSchema, aby zobaczyć typy kolumn, oraz count, aby uzyskać liczbę wierszy.

df.printSchema()
df.show()
println(df.count())

Datasety i bezpieczeństwo typów

Dataset to typowany DataFrame: Dataset[T], gdzie T jest klasą case class. Łączy optymalizację DataFrame ze sprawdzaniem typów podczas kompilacji.

import spark.implicits._

case class Person(name: String, age: Int)
val ds = Seq(Person("Alice", 30)).toDS()

RDD a DataFrame i Dataset

Wybór zależy od potrzeb:

RDD — pełna kontrola, brak schematu i optymalizatora
DataFrame — schemat i optymalizacja Catalyst, nietypowane wiersze
Dataset — schemat, optymalizacja i bezpieczeństwo typów

Konwersja między nimi

Przekształć DataFrame w RDD za pomocą .rdd lub RDD klas case class w DataFrame za pomocą .toDF. Datasety również konwertuje się do DataFrame za pomocą .toDF.

val rdd = df.rdd          // DataFrame -> RDD[Row]
val back = ds.toDF()      // Dataset -> DataFrame

Lokalna kolekcja Scali

W ujęciu koncepcyjnym DataFrame zachowuje się jak rozproszona kolekcja Scali. Oto lokalny, samodzielny odpowiednik ułatwiający zrozumienie.

object Main {
  case class Person(name: String, age: Int)
  def main(args: Array[String]): Unit = {
    val people = Seq(Person("Alice", 30), Person("Bob", 25))
    people.foreach(p => println(s"${p.name}: ${p.age}"))
  }
}

Szybkie sprawdzenie

Która abstrakcja zapewnia schemat, optymalizację Catalyst i bezpieczeństwo typów podczas kompilacji?

Podsumowanie

Poznałeś abstrakcje danych Sparka:

SparkSession jako punkt wejścia
RDD — niskopoziomowa rozproszona kolekcja
DataFrame — rozproszona tabela ze schematem
Dataset — typowany DataFrame

Dalej: transformacje i akcje.

Często zadawane pytania

Czy lekcja „RDD i DataFrame’y” jest bezpłatna?

Tak — pełny tekst „RDD i DataFrame’y” jest dostępny za darmo tutaj w sieci. Aby ćwiczyć ją interaktywnie (wbudowany edytor kodu i tutor AI dostępny 24/7) i odblokować resztę kursu Scala for Backend Engineering & Functional Programming, przejdź na CoddyKit PRO. Kurs Scala for Backend Engineering & Functional Programming zawiera 4 lekcji w sumie.

Co nauczysz się w „RDD i DataFrame’y”?

Abstrakcje danych Spark Ćwiczysz Scala for Backend Engineering & Functional Programming z praktycznym kodem, który uruchamiasz bezpośrednio w przeglądarce, a tutor AI dostępny 24/7 odpowiada na Twoje pytania podczas pracy nad lekcją.

Czy potrzebuję doświadczenia, aby zacząć Scala for Backend Engineering & Functional Programming?

Nie wymagamy żadnego doświadczenia. Scala for Backend Engineering & Functional Programming w CoddyKit jest strukturyzowany dla początkujących i zaawansowanych użytkowników, więc możesz zacząć tutaj lub od początku i uczyć się w swoim tempie. To lekcja 1 z 4.

Ile czasu zajmuje lekcja „RDD i DataFrame’y”?

Większość lekcji CoddyKit trwa około 5–10 minut. Każda lekcja to mały, interaktywny krok, dzięki czemu robisz systematyczne postępy i zawsze wracasz dokładnie do tego samego miejsca — na webie i w aplikacji.

Czy mogę pisać i uruchamiać kod w tej lekcji Scala for Backend Engineering & Functional Programming?

Tak. Każda lekcja Scala for Backend Engineering & Functional Programming zawiera wbudowany edytor kodu, więc piszesz i uruchamiasz prawdziwy kod bezpośrednio w przeglądarce i od razu otrzymujesz sprzężenie zwrotne od AI — bez konfiguracji na komputerze.

Wszystkie lekcje w tym kursie

← Powrót do Scala for Backend Engineering & Functional Programming