Spark SQL
Consulte datos
Spark SQL es una lección gratuita de Scala for Backend Engineering & Functional Programming en CoddyKit. Esta es la lección 3 de 4. Puedes leer la lección completa abajo gratuitamente — luego la practicas en el navegador con un editor de código integrado y un tutor de IA 24/7. Forma parte de la ruta de aprendizaje de Scala for Backend Engineering & Functional Programming, y tu progreso se sincroniza en la web y la app de CoddyKit. El curso de Scala for Backend Engineering & Functional Programming incluye 4 lecciones en total.
¿Qué es Spark SQL?
Spark SQL permite consultar datos distribuidos mediante SQL estándar o una API tipada de DataFrame. Ambas opciones pasan por el mismo optimizador Catalyst, por lo que ofrecen un rendimiento idéntico.
Vistas temporales
Para ejecutar SQL sobre un DataFrame, regístrelo como una vista. createOrReplaceTempView permite consultarlo por su nombre durante la sesión actual.
val df = Seq(("Alice", 30), ("Bob", 25)).toDF("name", "age")
df.createOrReplaceTempView("people")Ejecución de una consulta SQL
Use spark.sql con una cadena SQL. Devuelve un nuevo DataFrame que puede transformar o mostrar posteriormente.
val adults = spark.sql("SELECT name FROM people WHERE age >= 18")
adults.show()El DSL de DataFrame
La misma consulta en el DSL tipado. El objeto functions proporciona col, comparaciones y muchas expresiones integradas.
import org.apache.spark.sql.functions._
val adults = df.filter(col("age") >= 18).select("name")Selección y asignación de alias
Proyecte columnas con select y cambie sus nombres con as / alias. Las columnas calculadas utilizan expresiones sobre col.
import org.apache.spark.sql.functions._
df.select(
col("name"),
(col("age") + 1).as("age_next_year")
).show()Filtrado de filas
where y filter son sinónimos. Combine condiciones con && y ||, y use isNull / isNotNull para los datos ausentes.
import org.apache.spark.sql.functions._
df.where(col("age") > 20 && col("name").isNotNull).show()Ordenación y limitación
orderBy ordena (use desc para orden descendente) y limit limita el número de filas devueltas.
import org.apache.spark.sql.functions._
df.orderBy(col("age").desc).limit(5).show()Combinaciones
Combine dos DataFrames mediante una clave con join. Especifique el tipo de combinación, como "inner", "left" u "outer".
val joined = orders.join(customers, Seq("customer_id"), "inner")
joined.show()Funciones integradas
El paquete functions ofrece cientos de funciones auxiliares: upper, concat, when, round, funciones de fecha y mucho más.
import org.apache.spark.sql.functions._
df.withColumn("name_upper", upper(col("name")))
.withColumn("category", when(col("age") >= 30, "senior").otherwise("junior"))
.show()Lectura y escritura de tablas
Spark SQL lee y escribe en muchos formatos. Parquet es un formato columnar y eficiente; saveAsTable persiste los datos en el metastore.
val data = spark.read.parquet("input.parquet")
data.write.mode("overwrite").parquet("output.parquet")Consulta de tipo SQL en Scala puro
Un equivalente autocontenido: consultar una colección en memoria con métodos de colección refleja un SELECT/WHERE de Spark SQL.
object Main {
case class Person(name: String, age: Int)
def main(args: Array[String]): Unit = {
val people = Seq(Person("Alice", 30), Person("Bob", 25))
val adults = people.filter(_.age >= 18).map(_.name)
println(adults.mkString(", "))
}
}Comprobación rápida
¿Qué debe hacer con un DataFrame antes de consultarlo con spark.sql("SELECT ...")?
Resumen
Ha consultado datos con Spark SQL:
- registre vistas con
createOrReplaceTempView - ejecute SQL mediante
spark.sqlo el DSL de DataFrame - use
select,where,orderBy,join - use funciones integradas y E/S de Parquet
Siguiente: agregaciones.
Preguntas frecuentes
¿La lección «Spark SQL» es gratis?
Sí — el texto completo de «Spark SQL» es gratis para leer aquí en la web. Para practicarla de forma interactiva (editor de código integrado y tutor de IA 24/7) y desbloquear el resto del curso de Scala for Backend Engineering & Functional Programming, actualiza a CoddyKit PRO. El curso de Scala for Backend Engineering & Functional Programming incluye 4 lecciones en total.
¿Qué aprenderé en «Spark SQL»?
Consulte datos Practicas Scala for Backend Engineering & Functional Programming con código real que ejecutas directamente en el navegador, y un tutor de IA 24/7 responde tus preguntas mientras trabajas en la lección.
¿Necesito experiencia previa para empezar Scala for Backend Engineering & Functional Programming?
No se requiere experiencia previa. Scala for Backend Engineering & Functional Programming en CoddyKit está estructurado para principiantes hasta estudiantes avanzados, así que puedes empezar aquí o desde el inicio y avanzar a tu ritmo. Esta es la lección 3 de 4.
¿Cuánto tiempo toma la lección «Spark SQL»?
La mayoría de las lecciones de CoddyKit toman alrededor de 5–10 minutos. Cada una es compacta e interactiva, así que avanzas constantemente y retomas exactamente por donde dejaste en la web y la app.
¿Puedo escribir y ejecutar código en esta lección de Scala for Backend Engineering & Functional Programming?
Sí. Cada lección de Scala for Backend Engineering & Functional Programming incluye un editor de código integrado, así que escribes y ejecutas código real directamente en tu navegador y obtienes retroalimentación instantánea de IA — sin configuración local necesaria.