模块资料|Kafka / 消息流

原图深度模块的结构化资料摘录,保留目标、知识、命令线索、风险、排障、练习与验收。它不是一张原子知识卡,也不是可直接执行的操作手册。

所属方向:应用与中间件

目标

  • 理解分区、副本、消费组、顺序、积压和交付语义。

知识拆解

  • broker/topic/partition/replica
  • leader/ISR
  • producer acks/idempotence
  • consumer group/rebalance
  • offset/lag
  • at-least/exactly-once 边界

命令 / 配置 / 关键对象

以下是原图中的命令名、缩写或配置对象,并非经校验的完整命令行;其中可能含写操作。执行前必须补齐版本、权限、目标和风险。

  • kafka-topics/consumer-groups
  • JMX metrics
  • reassign partitions
  • preferred leader
  • log dirs

高频故障与风险

  • under-replicated partitions
  • consumer lag
  • rebalance storm
  • disk full
  • hot partition

排障路径

  • 集群健康→partition→producer/consumer
  • 看 ISR/lag/吞吐
  • 核对 key 分布
  • 检查 broker 磁盘/网络/GC

实战练习

  • 3 broker 集群故障切换
  • 积压、扩分区与再均衡

验收标准

  • RPO/RTO 与副本策略一致
  • 有容量和保留计划
  • 消费者能处理重复

对应优秀开源项目

  • apache/kafka;原链接:https://github.com/apache/kafka

继续拆卡的规则

本页是资料入口。只在形成一个能独立解释、带依据与边界的认识后,提炼为 Concept;故障观察进入 Troubleshooting,满足诊断条件的处置进入 Runbook,真实事件进入 Incident。

来源

查看完整原图节点与备注