Kafka无法消费！？究竟是bug的“沦陷”还是配置的“扭曲”？

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

在一个月黑风高的夜晚，突然收到现网生产环境Kafka消息积压的告警，梦中惊醒啊，马上起来排查日志。

问题现象

消费请求卡死在查找Coordinator

Coordinator为何物？Coordinator用于管理Consumer Group中各个成员，负责消费offset位移管理和Consumer Rebalance。Consumer在消费时必须先确认Consumer Group对应的Coordinator，随后才能join Group，获取对应的topic partition进行消费。

那如何确定Consumer Group的Coordinator呢？分两步走：

1、一个Consumer Group对应一个__consumers_offsets的分区，首先先计算Consumer Group对应的__consumers_offsets的分区，计算公式如下：

__consumers_offsets partition# = Math.abs(groupId.hashCode() % groupMetadataTopicPartitionCount，其中groupMetadataTopicPartitionCount由offsets.topic.num.partitions指定。

2、1中计算的该partition的leader所在的broker就是被选定的Coordinator。

定位过程

Coordinator节点找到了，现在看看Coordinator是否有问题：

不出所料，Coordinator对应分区Leader为-1，消费端程序会一直等待，直到Leader选出来为止，这就直接导致了消费卡死。

为啥Leader无法选举？Leader选举是由Controller负责的。Controller节点负责管理整个集群中分区和副本的状态，比如partition的Leader选举，topic创建，副本分配，partition和replica扩容等。现在我们看看Controller的日志：

1.6月10日15:48:30,006 秒Broker 1成为controller

此时感知的节点为1和2，节点3 在zk读不出来：

31秒847的时候把__consumer_offsets的分区3的Leader选为1，ISR为[1,2]，leader_epoch为14：

再过1秒后才感知到Controller发生变化，自身清退

2.Broker 2在其后几百毫秒后(15:48:30,936)也成为Controller

但是Broker2 是感知到Broker 3节点是活的，日志如下：

注意这个时间点，Broker1还没在zk把__consumer_offsets的分区3 的Leader从节点3改为1，这样Broker 2还认为Broker 3是Leader，并且Broker 3在它认为是活的，所以不需要重新选举Leader。这样一直保持了相当长的时间，即使Broker 1已经把这个分区的Leader切换了，它也不感知。

3.Broker 2在12号的21:43:19又感知Broker 1网络中断，并处理节点失败事件：