一、安装部署kafka1、集群规划hadoop102 hadoop103 hadoop104zk zk zkkafka kafka kafka2、jar包下载http://kafka.apache.org/downloads.html 3、集群部署1）解压安装包[test@hadoop102 software...
总听公司人说kafka kafka...所以这玩意到底是个啥？好像是一个高级版的消息队列，什么高吞吐量，数据持久，消息均衡，emmmhttps://blog.csdn.net/nawenqiang/article/details/81705276原文：https://www.cnblogs.com/gaoquanquan/p/10809977.html
一、kafka一个最基本的架构认识 由多个broker组成，每个broker就是一个节点；创建一个topic，这个topic可以划分为多个partition，每个partition可以存在于不同的broker上，每个partition存放放一部分数据。 kafka就是一个分布式消息队列，就是说一个topic的数据，是分散放在多个机器上的，每个机器就放一部分数据。 实际上像rabbitmq之类的，并不是分布式消息队列，它只是传统的消息队列，只不过提供了一些集群、HA的机制...
RabbitMQ消息丢失的情况
provider->Rabbitmq->consumer
1. 消息在传送过程中丢失 方案①开启RabbitMQ事务（同步，不推荐） ②开启Confim模式（异步，推荐）
2. Rabbitmq收到消息，暂存内存中，还没消费，自己挂掉了，内存中的数据丢失 方案：开启RabbitMQ持久化
3. 消费者消费到了这个消息，但还没来得及处理就挂了，Rabbitmq以为消息已经被处理了 方案：关闭RabbitMQ自动ACK
kafka消息丢失和重复消费 2两面分析
一、发送方式：...
本文从高可用的角度观察一下 RabbitMQ、Kafka、RocketMQ，看看它们各自的实现思路。
1. RabbitMQ
RabbitMQ 有 3 种部署模式：单机模式
普通集群模式
镜像集群模式单机模式与高可用完全没关系，咱就不说了，直接看看这2种集群模式。
1.1 普通集群模式某一个 Queue 是在集群中的某一个 Broker 上，各个 Broker 会同步元数据，但不会同步 Queue 的消息数据。
如果某一个 Broker 故障了，其中的 Queue 便无法使用。如果消息没有配置消息...
本文转载于： https://www.zhihu.com/question/43557507 知乎专题： Kafka，Mq，Redis作为消息队列使用时的差异？ （里面还有很多回答值得去看和思考）
1 资料文档
Kafka：中。有 kafka 作者自己写的书，网上资料也有一些。
rabbitmq：多。有一些不错的书，网上资料多。
zeromq：少。没有专门写 zeromq 的书，网上的资料多是一些代码的实现和简单介绍。
rocketmq：少。没有专门写 rocketmq 的书，网上的资料良莠不齐，官...
经常有人会问: “应该选择RabbitMQ还是Kafka？”。
基于某些原因， 许多开发者会把这两种技术当做等价的来看待。
的确，在一些案例场景下选择RabbitMQ还是Kafka没什么差别，但是这两种技术在底层实现方面是有许多差异的。
不同的场景需要不同的解决方案，选错一个方案能够严重的影响你对软件的设计，开发和维护的能力。
异步消息模式异步消息可以作为解耦消息的生产和处理的一种解决方案。
提到消息系统，我们通常会想到两种主要...
场景：对于同一份数据，多个业务消费。 rabbitmq：交换机根据订阅者以及订阅者设置的队列，分发数据到对应业务的queue里面，各自消费队列不影响。 kafka：公用同一份数据，不同的订阅者根据位点，请求数据。相同的groupid的消费者，公用同一个位点。
本文转载至:https://www.cnblogs.com/flower1990/p/7466882.html
一、安装JAVA JDK
1、下载安装包
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
注意：根据32/64位操作系统下载对应的安装包
2、添加系统变量：JAVA_HOME=C:\Program Files (x86)\Java\jdk1.8.0_144
二、安装ZooKeeper
1、 下载安装包
http://zookeeper.apache.org/releases.html#download
2、 解压并进入ZooKeeper目录，笔...
安装 Kafka 服务直接到 kafka 官网 , 下载最新的wget https://mirror.bit.edu.cn/apache/kafka/2.5.0/kafka_2.13-2.5.0.tgz解压，进入目录tar -zxvf kafka_2.13-2.5.0.tgz
cd kafka_2.13-2.5.0启动 Kafka 服务使用安装包中的脚本启动单节点 Zookeeper 实例bin/zookeeper-server-start.sh -daemon config/zookeeper.properties使用 kafka-server-start.sh 启动 kafka 服务bin/kafka-server-start.sh config/server.properties创建 t...
Egg.js ： 基于KOA2的企业级框架
Kafka：高吞吐量的分布式发布订阅消息系统
本文章将集成egg + kafka + mysql 的日志系统例子
系统要求：日志记录，通过kafka进行消息队列控制
思路图：这里消费者和生产者都由日志系统提供
λ.1 环境准备
①Kafka
官网下载kafka后，解压
启动zookeeper：
bin/zookeeper-server-start.sh config/zookeeper.properties启动Kafka server
这里config/server.properties中将num.partitions=5，我们设置...
CAP 是一个基于 .NET Standard 的 C# 库，它是一种处理分布式事务的解决方案，同样具有 EventBus 的功能，它具有轻量级、易使用、高性能等特点。参考中文官网
从这张图可以看到CAP主要是保证消息的一致性,没有事务回滚的操作,需要自己实现消息双向推送
我一开始以为实现分布式事务锁的机制,后来消息微服务用锁实现事务也不太合适
下面是我写的一个Demo
CAP 支持的多种消息队列,我这里用的是kafka
1.kafka 安装,localtime是时区文件...
