java – 无法在kafka consumer下设置’max.poll.records’,其中cons.poll仍然返回分区下的所有记录
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了java – 无法在kafka consumer下设置’max.poll.records’,其中cons.poll仍然返回分区下的所有记录，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1020字，纯文字阅读大概需要2分钟。
内容图文
我创建了多线程消费者应用程序来处理各种分区.
查看各种博客,我开始了解’max.poll.records’属性,以便控制来自给定主题,分区的记录集.(因此它可以很快从记录循环中出来,因此调用cons.poll ()保持活力)
问题是我的处理逻辑需要时间来处理每条记录.
在启动Cons-2时,两者都开始在相同的分区上工作,因为Cons-1仍未进行重新平衡(即尚未发生cons.poll()).
增加消费者以便他们可以重新平衡他们自己,cons.poll()将不会发生,除非处理所有记录.
我可能不会去’session.timeout.ms’,因为开始新的消费者也可能开始使用与Cons-1相同的分区.
我尝试使用以下方法设置属性：
props.put("max.poll.records",1);
props.put("max.poll.records","1");
但都没有改变.来自民意调查的记录.
我正在使用Apache Kafka 9和Below API.
<dependency>
<groupId>org.apache.servicemix.bundles</groupId>
<artifactId>org.apache.servicemix.bundles.kafka-clients</artifactId>
<version>0.9.0.1_1</version>
</dependency>
解决方法:
max.poll.records属性在Kafka-0.10.0中发布.它在Kafka 0.9.0.1版本中不可用.请参阅release注释中的KAFKA-3007任务.
如果您对记录的处理花费了很多时间,则以下链接可能会有所帮助.
内容总结
以上是互联网集市为您收集整理的java – 无法在kafka consumer下设置’max.poll.records’,其中cons.poll仍然返回分区下的所有记录全部内容，希望文章能够帮你解决java – 无法在kafka consumer下设置’max.poll.records’,其中cons.poll仍然返回分区下的所有记录所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。