Spark SQL
Interrogez les données
Spark SQL est une leçon Scala for Backend Engineering & Functional Programming gratuite sur CoddyKit. Ceci est la leçon 3 sur 4. Tu peux lire la leçon complète ci-dessous gratuitement — puis la pratiquer en direct dans le navigateur avec un éditeur de code intégré et un tuteur IA 24/7. Elle fait partie du parcours d'apprentissage Scala for Backend Engineering & Functional Programming, et ta progression se synchronise sur le web et l'application CoddyKit. Le cours Scala for Backend Engineering & Functional Programming comprend 4 leçons au total.
Certaines parties de cette leçon n'ont pas encore été traduites et s'affichent en anglais.
What Is Spark SQL?
Spark SQL lets you query distributed data with standard SQL or a typed DataFrame API. Both go through the same Catalyst optimizer, so they perform identically.
Temporary Views
To run SQL against a DataFrame, register it as a view. createOrReplaceTempView makes it queryable by name for the current session.
val df = Seq(("Alice", 30), ("Bob", 25)).toDF("name", "age")
df.createOrReplaceTempView("people")Running a SQL Query
Use spark.sql with a SQL string. It returns a new DataFrame you can further transform or display.
val adults = spark.sql("SELECT name FROM people WHERE age >= 18")
adults.show()The DataFrame DSL
The same query in the typed DSL. The functions object provides col, comparisons, and many built-in expressions.
import org.apache.spark.sql.functions._
val adults = df.filter(col("age") >= 18).select("name")Selecting and Aliasing
Project columns with select and rename with as / alias. Computed columns use expressions over col.
import org.apache.spark.sql.functions._
df.select(
col("name"),
(col("age") + 1).as("age_next_year")
).show()Filtering Rows
where and filter are synonyms. Combine conditions with && and ||, and use isNull / isNotNull for missing data.
import org.apache.spark.sql.functions._
df.where(col("age") > 20 && col("name").isNotNull).show()Sorting and Limiting
orderBy sorts (use desc for descending), and limit caps the row count returned.
import org.apache.spark.sql.functions._
df.orderBy(col("age").desc).limit(5).show()Joins
Join two DataFrames on a key with join. Specify the join type such as "inner", "left", or "outer".
val joined = orders.join(customers, Seq("customer_id"), "inner")
joined.show()Built-in Functions
The functions package offers hundreds of helpers: upper, concat, when, round, date functions, and more.
import org.apache.spark.sql.functions._
df.withColumn("name_upper", upper(col("name")))
.withColumn("category", when(col("age") >= 30, "senior").otherwise("junior"))
.show()Reading and Writing Tables
Spark SQL reads and writes many formats. Parquet is columnar and efficient; saveAsTable persists to the metastore.
val data = spark.read.parquet("input.parquet")
data.write.mode("overwrite").parquet("output.parquet")Plain Scala SQL-like Query
A self-contained analog: querying an in-memory collection with collection methods mirrors a Spark SQL SELECT/WHERE.
object Main {
case class Person(name: String, age: Int)
def main(args: Array[String]): Unit = {
val people = Seq(Person("Alice", 30), Person("Bob", 25))
val adults = people.filter(_.age >= 18).map(_.name)
println(adults.mkString(", "))
}
}Quick Check
What must you do to a DataFrame before querying it with spark.sql("SELECT ...")?
Recap
You queried data with Spark SQL:
- register views with
createOrReplaceTempView - run SQL via
spark.sqlor the DataFrame DSL select,where,orderBy,join- built-in functions and Parquet I/O
Next: aggregations.
Questions Fréquemment Posées
La leçon « Spark SQL » est-elle gratuite ?
Oui — le texte complet de « Spark SQL » est gratuit à lire ici sur le web. Pour la pratiquer de manière interactive (un éditeur de code intégré et un tuteur IA 24/7) et déverrouiller le reste du cours Scala for Backend Engineering & Functional Programming, passe à CoddyKit PRO. Le cours Scala for Backend Engineering & Functional Programming comprend 4 leçons au total.
Qu'est-ce que j'apprendrai dans « Spark SQL » ?
Interrogez les données Tu pratiques Scala for Backend Engineering & Functional Programming avec du code pratique que tu exécutes directement dans le navigateur, et un tuteur IA 24/7 répond à tes questions au fur et à mesure que tu avances dans la leçon.
Dois-je avoir de l'expérience pour commencer Scala for Backend Engineering & Functional Programming ?
Aucune expérience préalable n'est requise. Scala for Backend Engineering & Functional Programming sur CoddyKit est structuré pour les débutants jusqu'aux apprenants avancés, donc tu peux commencer ici ou depuis le début et avancer à ton rythme. Ceci est la leçon 3 sur 4.
Combien de temps prend la leçon « Spark SQL » ?
La plupart des leçons CoddyKit prennent environ 5–10 minutes. Chacune est courte et interactive, tu progresses régulièrement et tu repiques exactement où tu t'es arrêté sur le web et l'app.
Peux-tu écrire et exécuter du code dans cette leçon Scala for Backend Engineering & Functional Programming ?
Oui. Chaque leçon Scala for Backend Engineering & Functional Programming inclut un éditeur de code intégré, tu écris et exécutes du vrai code directement dans ton navigateur et tu reçois des retours IA instantanés — aucune configuration locale requise.