模块资料|Kafka / 消息流
原图深度模块的结构化资料摘录,保留目标、知识、命令线索、风险、排障、练习与验收。它不是一张原子知识卡,也不是可直接执行的操作手册。
所属方向:应用与中间件。
目标
- 理解分区、副本、消费组、顺序、积压和交付语义。
知识拆解
- broker/topic/partition/replica
- leader/ISR
- producer acks/idempotence
- consumer group/rebalance
- offset/lag
- at-least/exactly-once 边界
命令 / 配置 / 关键对象
以下是原图中的命令名、缩写或配置对象,并非经校验的完整命令行;其中可能含写操作。执行前必须补齐版本、权限、目标和风险。
- kafka-topics/consumer-groups
- JMX metrics
- reassign partitions
- preferred leader
- log dirs
高频故障与风险
- under-replicated partitions
- consumer lag
- rebalance storm
- disk full
- hot partition
排障路径
- 集群健康→partition→producer/consumer
- 看 ISR/lag/吞吐
- 核对 key 分布
- 检查 broker 磁盘/网络/GC
实战练习
- 3 broker 集群故障切换
- 积压、扩分区与再均衡
验收标准
- RPO/RTO 与副本策略一致
- 有容量和保留计划
- 消费者能处理重复
对应优秀开源项目
- apache/kafka;原链接:
https://github.com/apache/kafka
继续拆卡的规则
本页是资料入口。只在形成一个能独立解释、带依据与边界的认识后,提炼为 Concept;故障观察进入 Troubleshooting,满足诊断条件的处置进入 Runbook,真实事件进入 Incident。