RDD와 DataFrames
Spark의 데이터 추상화를 알아봅니다
RDD와 DataFrames은(는) CoddyKit의 무료 Scala for Backend Engineering & Functional Programming 강의입니다. 이것은 4개 중 1번째 강의입니다. 아래에서 전체 강의를 무료로 읽을 수 있으며, 내장 코드 에디터와 24/7 AI 튜터와 함께 브라우저에서 직접 실습할 수 있습니다. 이 강의는 Scala for Backend Engineering & Functional Programming 학습 경로의 일부이며, 진행 상황이 웹과 CoddyKit 앱에 동기화됩니다. Scala for Backend Engineering & Functional Programming 강의에는 총 4개의 강의가 포함되어 있습니다.
Apache Spark란 무엇인가요?
Apache Spark는 대규모 데이터 처리를 위한 분산 엔진입니다. 클러스터 전체에 데이터를 분할하고 계산을 병렬로 실행합니다. Scala는 Spark의 기본 언어이므로 간결하고 타입을 인식하는 API를 제공합니다.
RDD
Resilient Distributed Dataset(RDD)은 Spark의 낮은 수준 추상화입니다. 변경할 수 없고 분할된 컬렉션으로, 병렬 처리할 수 있으며 노드에 장애가 발생하면 계보를 기반으로 다시 만들 수 있습니다.
SparkContext와 SparkSession
SparkSession을 통해 Spark에 진입합니다. 이 세션의 sparkContext는 RDD를 생성하고, 세션 자체는 DataFrame을 생성하며 SQL을 실행합니다.
import org.apache.spark.sql.SparkSession
val spark = SparkSession.builder()
.appName("Demo")
.master("local[*]")
.getOrCreate()RDD 생성하기
로컬 컬렉션을 병렬화하거나 파일을 읽어 RDD를 생성합니다. 각 파티션은 별도의 작업이 처리합니다.
val sc = spark.sparkContext
val numbers = sc.parallelize(Seq(1, 2, 3, 4, 5))
val lines = sc.textFile("data.txt")DataFrame
DataFrame은 이름과 타입이 지정된 열을 가진 분산 테이블입니다. 스키마가 추가된 행의 RDD와 비슷합니다. Catalyst 최적화 프로그램은 DataFrame 질의를 계획하고 최적화할 수 있습니다.
DataFrame 생성하기
컬렉션에서 toDF를 사용해 DataFrame을 생성하거나 CSV, JSON, Parquet와 같은 구조화된 파일을 읽어 생성할 수 있습니다.
import spark.implicits._
val df = Seq(("Alice", 30), ("Bob", 25)).toDF("name", "age")
val csv = spark.read.option("header", "true").csv("people.csv")DataFrame 검사하기
show로 행을 출력하고, printSchema로 열 타입을 확인하며, count로 행 수를 확인합니다.
df.printSchema()
df.show()
println(df.count())Dataset과 타입 안전성
Dataset은 타입이 지정된 DataFrame입니다. Dataset[T]에서 T는 케이스 클래스입니다. DataFrame 최적화와 컴파일 시점 타입 검사를 함께 제공합니다.
import spark.implicits._
case class Person(name: String, age: Int)
val ds = Seq(Person("Alice", 30)).toDS()RDD, DataFrame, Dataset 비교
필요에 따라 선택합니다.
- RDD — 완전한 제어, 스키마 없음, 최적화 프로그램 없음
- DataFrame — 스키마와 Catalyst 최적화, 타입이 지정되지 않은 행
- Dataset — 스키마와 최적화, 타입 안전성
서로 변환하기
.rdd를 사용해 DataFrame을 RDD로 변환하거나, 케이스 클래스의 RDD를 .toDF로 DataFrame으로 변환할 수 있습니다. Dataset도 .toDF를 사용해 DataFrame으로 변환할 수 있습니다.
val rdd = df.rdd // DataFrame -> RDD[Row]
val back = ds.toDF() // Dataset -> DataFrame일반 Scala 컬렉션
개념적으로 DataFrame은 분산 방식으로 동작하는 Scala 컬렉션과 비슷합니다. 이해를 돕기 위해 로컬에서 동작하는 독립적인 대응 예제를 살펴보겠습니다.
object Main {
case class Person(name: String, age: Int)
def main(args: Array[String]): Unit = {
val people = Seq(Person("Alice", 30), Person("Bob", 25))
people.foreach(p => println(s"${p.name}: ${p.age}"))
}
}빠른 확인
스키마, Catalyst 최적화, 그리고 컴파일 시점 타입 안전성을 제공하는 추상화는 무엇인가요?
복습
Spark의 데이터 추상화를 살펴봤습니다.
- 진입점인
SparkSession - RDD — 낮은 수준의 분산 컬렉션
- DataFrame — 스키마를 가진 분산 테이블
- Dataset — 타입이 지정된 DataFrame
다음: 변환과 작업
자주 묻는 질문
“RDD와 DataFrames” 강의는 무료인가요?
네 — “RDD와 DataFrames” 전체 내용을 이 웹사이트에서 무료로 읽을 수 있습니다. 인터랙티브하게 실습하려면(내장 코드 에디터와 24/7 AI 튜터), CoddyKit PRO로 업그레이드하면 Scala for Backend Engineering & Functional Programming 강의 전체를 잠금 해제할 수 있습니다. Scala for Backend Engineering & Functional Programming 강의에는 총 4개의 강의가 포함되어 있습니다.
“RDD와 DataFrames”에서 뭘 배우나요?
Spark의 데이터 추상화를 알아봅니다 브라우저에서 직접 실행하는 실습 코드로 Scala for Backend Engineering & Functional Programming을(를) 배우며, 24/7 AI 튜터가 강의를 진행하면서 질문에 답변해줍니다.
Scala for Backend Engineering & Functional Programming을(를) 시작하는 데 경험이 필요한가요?
사전 경험은 필요하지 않습니다. CoddyKit의 Scala for Backend Engineering & Functional Programming은(는) 초급자부터 고급 학습자까지를 위해 구성되어 있으므로, 여기서 시작하거나 처음부터 시작할 수 있으며 자신의 속도대로 진행할 수 있습니다. 이것은 4개 중 1번째 강의입니다.
“RDD와 DataFrames” 강의는 얼마나 걸리나요?
대부분의 CoddyKit 강의는 약 5~10분이 소요됩니다. 각 강의는 간결하고 인터랙티브하여 꾸준한 진행이 가능하며, 웹과 앱에서 중단한 부분부터 바로 시작할 수 있습니다.
이 Scala for Backend Engineering & Functional Programming 강의에서 코드를 작성하고 실행할 수 있나요?
네. 모든 Scala for Backend Engineering & Functional Programming 강의에는 내장 코드 에디터가 포함되어 있으므로, 브라우저에서 바로 실제 코드를 작성하고 실행한 후 즉시 AI 피드백을 받을 수 있습니다 — 로컬 설정이 필요 없습니다.