Apache Kafka
消息流平台实战

Apache Kafka 最初由领英（LinkedIn）工程师于 2011 年开源，现已成为全球规模最大的实时数据管道基础设施。Netflix、Uber、Airbnb、微软等超过 80% 的财富 100 强公司都在生产环境中使用 Kafka，每天处理消息量超过万亿条。

本教程从 Kafka 核心架构讲起，涵盖 Broker 集群搭建、Producer/Consumer 开发与调优、Kafka Streams 流处理、Kafka Connect 数据集成、Schema Registry 消息格式管理，到监控调优、安全加固与 Python/Go 生产实战，帮你构建企业级实时数据管道。

• 1
  Kafka 架构与核心概念

  Broker/Topic/Partition/Replica、顺序写磁盘、零拷贝、ZooKeeper vs KRaft、Offset/Consumer Group 名词解释
  ›
• 2
  安装与集群搭建

  Docker Compose 一键启动、KRaft 模式配置、三节点集群、Kafka UI 可视化、管理脚本速查
  ›
• 3
  Topic 与 Partition 深度

  分区数规划、副本机制、ISR、数据保留策略、Log Segment、日志压缩（log.cleanup.policy=compact）
  ›
• 4
  Producer 开发与调优

  同步/异步发送、batch.size/linger.ms、acks 可靠性、幂等 Producer、消息压缩、事务 Exactly-Once
  ›
• 5
  Consumer 开发与消费组

  Poll 循环、手动 Offset 提交、分区分配策略、Rebalance 机制、Consumer Lag 监控、多线程消费
  ›
• 6
  Kafka Streams 流处理

  KStream/KTable、filter/map/aggregate/join、状态存储 RocksDB、Tumbling/Hopping/Session 窗口实战
  ›
• 7
  Kafka Connect

  Source/Sink Connector、JDBC/S3/Elasticsearch/Debezium CDC、REST API 管理、SMT 消息转换
  ›
• 8
  Schema Registry 与消息格式

  为何需要 Schema Registry、Avro/Protobuf 格式、兼容性规则、Python/Java 客户端集成
  ›
• 9
  监控、调优与安全

  JMX 指标、Prometheus + Grafana、OS/JVM/Kafka 三层调优、SSL 加密、SASL 认证、ACL 授权
  ›
• 10
  生产实战与最佳实践

  Python/Go 完整代码、延迟队列、死信队列、Saga 模式、Event Sourcing、Flink/Spark 集成、选型建议
  ›