重置Kafka Consumer偏移量

记录在生产上执行的一次重置kafka consumer偏移量操作。

产生原因

中午在生产数据库执行了升级sql，导致数据表结构变更，产生了大量的binlog信息，后台服务(order-service)使用kafka consumer消费binlog消息，由于数据量大，处理缓慢，导致后续的生产订单更新无法通过binlog更新到redis, 前端组件查询不到最新的订单信息等。

解决方法

使用Kafka的Consumer消费这些处理缓慢的消息：

//进入kafka容器bin目录，执行
kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic Binlog --zookeeper *.*.*.*:2181 --consumer.config consumer.config

//consumer.config内容为groupId
group.id=...

消费完后，重启服务，重新加载缓存，后面使用正常

重置Topic偏移量到最新(未实操)

bin/kafka-run-class.sh kafka.tools.UpdateOffsetsInZK latest consumer.properties topic

//其中,consumer.properties为consumer配置信息
zookeeper.connect=*.*.*.*:2181
zookeeper.connection.timeout.ms=6000
group.id=...

后续关注点

生产上线sql，如果影响数据量大，需要在晚上下班后执行；

本文采用署名-非商业性使用-相同方式共享 4.0 国际许可协议，转载请注明出处。