你看这问法，其实本质针对的场景，都是说，可能你的消费端出了问题，不消费了，或者消费的极其极其慢。接着就坑爹了，可能你的消息队列集群的磁盘都快写满了，都没人消费，这个时候怎么办？或者是整个这就积压了几个小时，你这个时候怎么办？或者是你积压的时间太长了，导致比如rabbitmq设置了消息过期时间后就没了怎么办？ 一般这个时候，只能操作临时紧急扩容了，具体操作步骤和思路如下：1）先修复consumer的问题，确保其恢复消...
前言：提到消息队列，首先想到：rabbit、kafka、redis/cordis、zeromq这种分布式的消息队列，基于内存缓存和服务发现算法，跨节点的这种消息发布订阅机制。 有时候的需求可能比较简单，需要一个可以不溢出的本地消息队列，diskqueue就是这种设计目标，基于文件的消息队列。源码目录：total 2630 drwxr-xr-x 1 Administrator 197121 0 4月 8 16:31 diskqueue/ -rw-r--r-- 1 Administrator 197121 59 4月 7 17:42 go....
原因 handler的消息队列里的数据处理正常是很快的，但是如果存在耗时的处理，会导致不能及时处理队列中的消息，这个时候可以把消息队列中的数据都打印出来方法 在你想开始打印的地方增加Looper.getMainLooper().setMessageLogging(new LogPrinter(4, "xuwenping"));，这样，log里就会出现I/xuwenping: <<<<< Finished to Handler (android.view.ViewRootImpl$ViewRootHandler) {672b748} null的类似log
2021-4-9 10:32:25 星期五 总结一下最近一段时间使用消息队列作为生产者遇到的问题: 架构是这样的: 1. 数据库存储业务产生的基础信息, 状态为初始化 (高并发下顺序可能会不保证, 好在我们不对外, 并发性不高) 2. 定时脚本顺序扫描, 改状态为发送中, 组装完整信息, 写入到kafka 3. 发送成功后, 在kafka回调中更改状态为已完成 4. 因消费者觉得没必要发送ack回调, 所以消息发送生命线到此结束 设计要点: 1. 可以随时终止消息发送,...
一、前言 RocketMQ为什么这么快、Kafka为什么这么快？用了零拷贝技术？什么是零拷贝技术，它们二者的零拷贝技术有不同吗？ 二、为什么需要零拷贝 在计算机产业中，I/O的速度相较CPU，总是太慢的。SSD硬盘的IOPS可以达到2W、4W，但是我们CPU的主频有2GHz以上，也就意味着每秒会有20亿次的操作。如果对于I/O操作，都是由CPU发出对应的指令，然后等待I/O设备完成操作之后返回，那CPU有大量的时间其实都是在等待I/O设备完成操作。但是，...
如何解决消息丢失？ 持久化 不推荐使用消息事务，会验证降低性能 生产者确认（publisher confirm）：生产者发送消息后，等待mq的ACK，如果没有收到或者收到失败信息，则重试。如果收到成功消息则业务结束 如何避免消息堆积？ -通过同一个队列多消费者监听，实现消息的争抢，加快消息消费速度。 如何避免消息重复消费？ 保证接口幂等即可，那么如何保证接口幂等呢？某些接口天生幂等，例如查询请求 某些接口天生不幂等，比如新增，还...
1.为什么要用MQ(消息队列) 在面试中，MQ是面试官常问知识点，那么我们为什么要使用MQ呢？异步处理 流量削峰 应用解耦 注册场景我就直接将我司的真实场景搬过来剖析，这里不拿冷门业务(怕你们看不懂怼我-。-)，找一个大部分系统都会有的功能：注册。 信息校验->创建账户并入库->创建资金账户->通知其他系统->短信通知 问题先说一下这种线性的注册方式带来的问题。问题就是因为它是线性的，如果说中间任何一环出现问题，操作失败...
maven依赖 <dependencies> <!-- 消息队列--><!-- https://mvnrepository.com/artifact/org.springframework.boot/spring-boot-starter-amqp --><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-amqp</artifactId></dependency> <!-- 邮件starter--><!-- https://mvnrepository.com/artifact/org.springframework.boot/spring-boot-starter-mail --><dependency><groupId>or...
— 扫描二维码 —加入架构集结群 对技术感兴趣的同学可进群（备注:Java）MQ（消息队列）在软件架构中是经常被使用的，特别是在分布式系统中也是使用频率很高的组件。以下从消息队列的使用场景、概念、常见问题及解决方案来详细讲解。一、消息队列使用场景1.1 常见的使用场景系统解耦在分布式环境下，系统间的相互依赖，最终会会导致整个依赖关系混乱，特别在微服务环境下，会出现相互依赖，甚至是循环依赖的情况，对后期系统的拆分...
360内部消息队列系统Qbus介绍 基础架构组 360云计算 女主宣言做为每个互联网公司处理大数据的基础组件，诸如Kafka、rabbitMQ等一系列的消息队列系统越来越受到服务端程序猿的青睐，为了保持数据的持久性、可扩展性及高可用性，团队针对公司内部的现状以及业务特点，基于kafka深度定制了一款符合360内部特点的消息队列系统Qbus。今天小主就为大家奉上这篇关于消息队列的干货分享，希望能够帮助大家。PS：丰富的一线技术、多元化的...
消息队列也算是当前面试中必问的一个知识点了。而且，如果你说不会，好像别人就抓住了你的短板一样。现在到哪都一堆人，行情和当年差的太多了。今天，为了不适尴尬，能和面试官聊的更嗨，我给你说说，消息队列的 3 大使用场景。 当然，消息队列绝对不限于这 3 个场景。我概括的还是比较笼统的，抓住主要的场景，就是抓住了面试的机会。 1、支持异步处理的服务。 这个是消息队列使用的一大场景。比如，在电商项目中，我们的下单，出...
Kafka的官方文档：http://kafka.apache.org/documentation/#quickstart Kafka的核心论文：https://www.kancloud.cn/kancloud/log-real-time-datas-unifying/58708 Kafka原理介绍文档：https://cwiki.apache.org/confluence/display/KAFKA/Kafka+Improvement+Proposals、http://kafka.apache.org/documentation/#design、http://kafka.apache.org/documentation/#implementation --代码的异步化处理 CompletableFuture简单介绍：run...