面试知识点总结之RabbitMQ/Kafka使用场景

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了面试知识点总结之RabbitMQ/Kafka使用场景，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1667字，纯文字阅读大概需要3分钟。

内容图文

RabbitMQ消息丢失的情况

provider->Rabbitmq->consumer

1. 消息在传送过程中丢失 方案①开启RabbitMQ事务（同步，不推荐） ②开启Confim模式（异步，推荐）

2. Rabbitmq收到消息，暂存内存中，还没消费，自己挂掉了，内存中的数据丢失 方案：开启RabbitMQ持久化

3. 消费者消费到了这个消息，但还没来得及处理就挂了，Rabbitmq以为消息已经被处理了 方案：关闭RabbitMQ自动ACK

 

kafka消息丢失和重复消费  2两面分析

一、发送方式：kafka消息发送有两种方式：同步和异步 默认时同步方式。可通过 producer.type 属性来配置消息发送方式

1. 确认消息生产 可通过 request.required.acks属性来配置，其中

　　①0 不进行消息接受是否成功的确认

　　②1 当leader接受成功时确认

　　③-1 当leader和Fllower都接收成功时确认

2. 丢失场景

　　①acks = 0 时，不和kafka集群进行消息接收确认，则当网络异常或缓存区满了等情况，消息可能丢失

　　②acks = 1 时，同步模式下，只有leader确认接收成功后但挂掉了，副本没有同步，消息可能丢失

二、消息消费：kafka消息消费有2个consumer接口：Low-level API 和 High-level API

　　①Low-level API：消费者自己维护 offset 等值，可以实现对kafka的完全控制；

　　②High-level API：封装了对 partition 和 offset的管理，使用简单

如果使用高级接口 High-level API 可能存在一个问题就是当消息消费者从集群中把消息取出来，并提交了新的消息 offset 值后，还没来得及消费就挂掉了，那么下次再消费时之前没消费成功的消息就’诡异‘消失了；

解决方案：

1. 对于消息丢失：同步模式下，确认机制设置为 -1 ，即让消息写入leader 和follower之后再确认消息发送成功；异步模式下，为防止缓冲区满，可以再配置文件设置不限制阻塞

2. 针对消息重复：将消息的唯一标识保存到外部介质中，再次消费时判断是否处理过即可。

 

使用场景

优点：解耦、、异步、削峰

使用MQ作解耦：一个模块，调用了多个模块，互相之间的调用很复杂，维护起来很麻烦，但其实这个调用是不需要直接同步调用接口的。

// TODO

 

内容总结

以上是互联网集市为您收集整理的面试知识点总结之RabbitMQ/Kafka使用场景全部内容，希望文章能够帮你解决面试知识点总结之RabbitMQ/Kafka使用场景所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---