Scala for Backend Engineering & Functional Programming · Ders

RDD'ler ve DataFrames

Spark veri soyutlamaları

RDD'ler ve DataFrames, CoddyKit'te ücretsiz bir Scala for Backend Engineering & Functional Programming dersidir. Bu, 4 dersinin 1. dersidir. Aşağıdan dersin tamamını ücretsiz okuyabilir, sonra tarayıcıda yerleşik kod editörü ve 7/24 yapay zeka koçu ile uygulamalı olarak pratik yapabilirsin. Bu, Scala for Backend Engineering & Functional Programming öğrenme yolunun bir parçasıdır ve ilerlemeniz web ve CoddyKit uygulaması arasında senkronize olur. Scala for Backend Engineering & Functional Programming kursu toplamda 4 dersten oluşur.

Bu dersin bazı bölümleri henüz çevrilmemiş olup İngilizce olarak gösterilmektedir.

What Is Apache Spark?

Apache Spark is a distributed engine for large-scale data processing. It splits data across a cluster and runs computations in parallel. Scala is Spark's native language, giving a concise, type-aware API.

The RDD

The Resilient Distributed Dataset (RDD) is Spark's low-level abstraction: an immutable, partitioned collection that can be processed in parallel and rebuilt from lineage if a node fails.

SparkContext and SparkSession

You enter Spark through a SparkSession. Its sparkContext creates RDDs; the session itself creates DataFrames and runs SQL.

import org.apache.spark.sql.SparkSession

val spark = SparkSession.builder()
  .appName("Demo")
  .master("local[*]")
  .getOrCreate()

Creating an RDD

Build an RDD by parallelizing a local collection or by reading a file. Each partition is processed by a separate task.

val sc = spark.sparkContext
val numbers = sc.parallelize(Seq(1, 2, 3, 4, 5))
val lines   = sc.textFile("data.txt")

The DataFrame

A DataFrame is a distributed table with named, typed columns — like an RDD of rows plus a schema. The Catalyst optimizer can plan and optimize DataFrame queries.

Creating a DataFrame

Create DataFrames from collections (with toDF) or by reading structured files such as CSV, JSON, or Parquet.

import spark.implicits._

val df = Seq(("Alice", 30), ("Bob", 25)).toDF("name", "age")
val csv = spark.read.option("header", "true").csv("people.csv")

Inspecting a DataFrame

Use show to print rows, printSchema to view column types, and count for the number of rows.

df.printSchema()
df.show()
println(df.count())

Datasets and Type Safety

A Dataset is a typed DataFrame: Dataset[T] where T is a case class. It combines DataFrame optimization with compile-time type checks.

import spark.implicits._

case class Person(name: String, age: Int)
val ds = Seq(Person("Alice", 30)).toDS()

RDD vs DataFrame vs Dataset

Choose based on needs:

RDD — full control, no schema, no optimizer
DataFrame — schema + Catalyst optimization, untyped rows
Dataset — schema + optimization + type safety

Converting Between Them

Convert a DataFrame to an RDD with .rdd, or an RDD of case classes to a DataFrame with .toDF. Datasets convert to DataFrames with .toDF too.

val rdd = df.rdd          // DataFrame -> RDD[Row]
val back = ds.toDF()      // Dataset -> DataFrame

Plain Scala Collection

Conceptually a DataFrame behaves like a Scala collection but distributed. Here is the local, self-contained analog for intuition.

object Main {
  case class Person(name: String, age: Int)
  def main(args: Array[String]): Unit = {
    val people = Seq(Person("Alice", 30), Person("Bob", 25))
    people.foreach(p => println(s"${p.name}: ${p.age}"))
  }
}

Quick Check

Which abstraction provides a schema, Catalyst optimization, and compile-time type safety?

Recap

You met Spark's data abstractions:

SparkSession as the entry point
RDD — low-level distributed collection
DataFrame — distributed table with schema
Dataset — typed DataFrame

Next: transformations and actions.

Sıkça Sorulan Sorular

“RDD'ler ve DataFrames” dersi ücretsiz mi?

Evet — “RDD'ler ve DataFrames” dersin tüm metni burada web'de ücretsiz olarak okunabilir. Etkileşimli olarak pratik yapmak (yerleşik kod editörü ve 7/24 yapay zeka koçu) ve Scala for Backend Engineering & Functional Programming kursunun geri kalanını açmak için CoddyKit PRO'ya yükselt. Scala for Backend Engineering & Functional Programming kursu toplamda 4 dersten oluşur.

“RDD'ler ve DataFrames” dersinde ne öğreneceğim?

Spark veri soyutlamaları Scala for Backend Engineering & Functional Programming ile uygulamalı kodu tarayıcıda doğrudan çalıştırarak pratik yaparsın ve 7/24 yapay zeka koçu dersi çalışırken sorularını yanıtlar.

Scala for Backend Engineering & Functional Programming öğrenmeye başlamak için deneyim gerekli mi?

Önceden deneyim gerekmez. CoddyKit'te Scala for Backend Engineering & Functional Programming, başlangıçtan ileri seviyeye kadar yapılandırıldığı için buradan başlayabilir veya başından başlayıp kendi hızında ilerleme yapabilirsin. Bu, 4 dersinin 1. dersidir.

“RDD'ler ve DataFrames” dersi ne kadar sürer?

Çoğu CoddyKit dersi yaklaşık 5–10 dakika sürer. Her biri kısa ve etkileşimli olduğu için sabit ilerleme yaparsın ve web ile uygulama arasında tam olarak bıraktığın yerden devam edebilirsin.

Bu Scala for Backend Engineering & Functional Programming dersinde kod yazıp çalıştırabilir miyim?

Evet. Her Scala for Backend Engineering & Functional Programming dersi yerleşik bir kod editörü içerir, bu sayede tarayıcıda gerçek kod yazıp çalıştırabilir ve anlık yapay zeka geri bildirimi alırsın — yerel kurulum gerekli değildir.

Bu kursun tüm dersleri

← Scala for Backend Engineering & Functional Programming Sayfasına Dön