Apache Spark
大数据处理实战

Apache Spark 是全球最流行的大数据统一分析引擎，由 UC Berkeley AMPLab 在 2009 年创建，现已成为处理 PB 级数据的事实标准。其内存计算模型使得迭代算法（机器学习、图计算）比 Hadoop MapReduce 快 10～100 倍。

本教程从 Spark 核心架构讲起，深入 PySpark DataFrame API、Spark SQL、Structured Streaming 实时计算、MLlib 机器学习 Pipeline，到集群部署（YARN/Kubernetes/Databricks）和 Delta Lake 现代数据湖架构，带你在真实工作场景中驾驭大数据。

• 1
  Spark 核心架构

  MapReduce 的问题、Driver/Executor/Cluster Manager、DAG/Stage/Task、RDD→DataFrame 演进、部署模式、安装 PySpark
  ›
• 2
  PySpark DataFrame API

  SparkSession、读取 CSV/JSON/Parquet/JDBC、select/filter/withColumn/drop、类型系统、show/printSchema、用户行为日志分析
  ›
• 3
  转换与聚合

  groupBy + agg、Window 函数、join 类型全解、explode 展开、pivot 行列转换、电商订单多维聚合实战
  ›
• 4
  Spark SQL

  spark.sql() 执行 SQL、临时视图、Catalog API、复杂类型 struct/array/map、内置函数库（200+）、Hive 集成、TPC-H 实战
  ›
• 5
  读写数据源

  DataFrameReader/Writer、Parquet 列式格式、Delta Lake / Iceberg / Hudi 对比、JDBC 读写、Kafka Source、云存储路径
  ›
• 6
  Spark Streaming 结构化流

  Structured Streaming vs DStream、流 DataFrame、Kafka 数据源、触发器、输出模式、Watermark 延迟数据、Kafka 实时日志分析
  ›
• 7
  性能调优

  Spark UI 解读、数据倾斜处理（加盐/repartition）、广播连接、持久化级别、Shuffle 优化、AQE 自适应查询、内存配置
  ›
• 8
  MLlib 机器学习

  Pipeline API（Estimator/Transformer）、特征工程、分类/回归/聚类、CrossValidator 交叉验证、用户流失预测完整实战
  ›
• 9
  集群部署与云平台

  Standalone/YARN/Kubernetes 三种模式、spark-submit 参数详解、Databricks 托管平台、AWS EMR / GCP Dataproc 对比
  ›
• 10
  与现代数据栈集成

  Delta Lake ACID 事务/时间旅行、Lakehouse 架构、dbt-spark 集成、Spark+Kafka 实时数仓、Iceberg 迁移、Spark vs Flink 选型
  ›