java – Kafka – 经纪人：团队协调员不可用

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了java – Kafka – 经纪人：团队协调员不可用，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2677字，纯文字阅读大概需要4分钟。

内容图文

我有以下结构：

zookeeper: 3.4.12
kafka: kafka_2.11-1.1.0
server1: zookeeper + kafka
server2: zookeeper + kafka
server3: zookeeper + kafka

使用kafka-topics shell脚本创建具有复制因子3和分区3的主题.

./kafka-topics.sh --create --zookeeper localhost:2181 --topic test-flow --partitions 3 --replication-factor 3

并使用group localConsumers.当领导没事的时候它工作正常.

./kafka-topics.sh --describe --zookeeper localhost:2181 --topic test-flow
Topic:test-flow PartitionCount:3    ReplicationFactor:3 Configs:
    Topic: test-flow    Partition: 0    Leader: 3   Replicas: 3,2,1 Isr: 3,2,1
    Topic: test-flow    Partition: 1    Leader: 1   Replicas: 1,3,2 Isr: 1,3,2
    Topic: test-flow    Partition: 2    Leader: 2   Replicas: 2,1,3 Isr: 2,1,3

消费者的日志

Received FindCoordinator response ClientResponse(receivedTimeMs=1529508772673, latencyMs=217, disconnected=false, requestHeader=RequestHeader(apiKey=FIND_COORDINATOR, apiVersion=1, clientId=consumer-1, correlationId=0), responseBody=FindCoordinatorResponse(throttleTimeMs=0, errorMessage='null', error=NONE, node=myserver3:9092 (id: 3 rack: null)))

但是如果领导者失败了 – 我在消费者中得到了错误(systemctl stop kafka)：

节点3不可用.好

./kafka-topics.sh --describe --zookeeper localhost:2181 --topic test-flow
Topic:test-flow PartitionCount:3    ReplicationFactor:3 Configs:
    Topic: test-flow    Partition: 0    Leader: 2   Replicas: 3,2,1 Isr: 2,1
    Topic: test-flow    Partition: 1    Leader: 1   Replicas: 1,3,2 Isr: 1,2
    Topic: test-flow    Partition: 2    Leader: 2   Replicas: 2,1,3 Isr: 2,1

消费者的日志

Received FindCoordinator response 
ClientResponse(receivedTimeMs=1529507314193, latencyMs=36, 
disconnected=false, 
requestHeader=RequestHeader(apiKey=FIND_COORDINATOR, apiVersion=1, 
clientId=consumer-1, correlationId=149), 
responseBody=FindCoordinatorResponse(throttleTimeMs=0, 
errorMessage='null', error=COORDINATOR_NOT_AVAILABLE, node=:-1 (id: -1 
rack: null)))

- Group coordinator lookup failed: The coordinator is not available.
- Coordinator discovery failed, refreshing metadata

消费者无法连接,直到领导者关闭或重新连接另一个消费者群体.

无法理解为什么会这样？
消费者应该重新平衡到另一个经纪人,但事实并非如此.

解决方法:

尝试将属性添加到server.conf并清理zookeeper缓存.
它应该有所帮助

offsets.topic.replication.factor=3
default.replication.factor=3

此问题的根本原因是不可能在节点之间分配主题偏移.

自动生成的主题：
__consumer_offsets

你可以通过以下方式检查：
./kafka-topics.sh –describe –zookeeper localhost：2181 –topic __consumer_offsets

注意这篇文章：
https://kafka.apache.org/documentation/#prodconfig

默认情况下,它会使用RF-1创建__consumer_offsets

重要的是在kafka / cluster启动之前配置复制因子.
否则,它可能会带来一些问题,例如在您的情况下重新配置实例.

内容总结

以上是互联网集市为您收集整理的java – Kafka – 经纪人：团队协调员不可用全部内容，希望文章能够帮你解决java – Kafka – 经纪人：团队协调员不可用所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端