消息队列 - 技术教程文章
error in config file "/etc/rabbitmq/rabbitmq.config"【图】
记录一次RabbitMQ配置文件配置错误error信息：dill@ubuntu-vm:/usr/share/doc/rabbitmq-server$ sudo /usr/lib/rabbitmq/bin/rabbitmq-server {"could not start kernel pid",application_controller,"error in config file \"/etc/rabbitmq/rabbitmq.config\" (318): syntax error before: ‘]‘"}Crash dump is being written to: erl_crash.dump...donecould not start kernel pid (application_controller) (error in config f...
PHP使用RabbitMQ消息队列【代码】
1、安装amqp拓展 安装流程2、下载工具包 php-amqplib composer require php-amqplib/php-amqplib 3、代码操作如下 【消费消息】 1 <?php 2//配置信息 3$conn_args = array( 4 ‘host‘ => ‘127.0.0.1‘,5 ‘port‘ => ‘5672‘, 6 ‘login‘ => ‘zcw‘, 7 ‘password‘ => ‘123456‘, 8 ‘vhost‘=>‘/‘ 9); 10$e_name = ‘exchange1‘; //交换机名 11$q_name = ‘queue1‘; //队列名 12$k_route = ...
记录一份生产环境上的nginx、keepalived、redis-sentinel、rabbitmq集群、ftp配置【代码】【图】
一、组网结构nginx作为一个网关，接收外部请求，同时，因为技术选型的历史原因，内部的微服务没有服务管理。但是微服务间调用的话，比如微服务A集群要调用微服务集群B，只好也走nginx了，通过nginx来做负载均衡。同时，这份配置里也包含了tcp 四层负载均衡的配置。二、nginx配置#user nobody; worker_processes 4;#error_log logs/error.log; #error_log logs/error.log notice; #error_log logs/error.log info;#pid ...
rabbitMQ WINDOWS 安装 入门【代码】【图】
1、下载下载 rabbitMQ ：http://www.rabbitmq.com/download.html，安装rabbitmq需要erlang，下载erlang：http://www.erlang.org/download.html2、安装RABBITMQrabbitMQ安装，查看安装文档：http://www.rabbitmq.com/install-windows.html3、安装ERLANG，下载完成ERLANG后，直接打开文件下一步就可以安装完成了，安装完成ERLANG后再回过来安装RABBITMQ。4、启动RABBITMQ如果是安装版的直接在开始那里找到安装目录点击启动即可启动的...
RabbitMQ （五）主题（Topic） -摘自网络【图】
虽然使用direct类型改良了我们的系统，但是仍然存在一些局限性：它不能够基于多重条件进行路由选择。 在我们的日志系统中，我们有可能希望不仅根据日志的级别而且想根据日志的来源进行订阅。这个概念类似unix工具：syslog，它转发日志基于严重性（info/warning/crit…）和设备（auth/cron/kern…） 这样可能给我们更多的灵活性：我们可能只想订阅来自’cron’的致命错误日志，而不是来自’kern’的。 为了在我们的系统中实现上述的...
centos7部署rabbitMq【图】
目录一、消息中间件相关知识... 11、概述... 12、消息中间件的组成... 13 消息中间件模式分类... 24 消息中间件的优势... 35 消息中间件应用场景... 46 消息中间件常用协议... 67 常见消息中间件MQ介绍... 7 7.1 RocketMQ.. 7 7.2 RabbitMQ.. 7 7.3 ActiveMQ.. 8 7.4 Redis. 8 7.5 Kafka. 8 7.6 ZeroMQ.. 98、主要消息中间件的比较... 9二、部署RabbitMq. 101、安装一些依赖... 102、因为rabbitmq是基于erlang环...
Netty构建分布式消息队列实现原理浅析【代码】【图】
在本人的上一篇博客文章：Netty构建分布式消息队列（AvatarMQ）设计指南之架构篇 中，重点向大家介绍了AvatarMQ主要构成模块以及目前存在的优缺点。最后以一个生产者、消费者传递消息的例子，具体演示了AvatarMQ所具备的基本消息路由功能。而本文的写作目的，是想从开发、设计的角度，简单的对如何使用Netty，构建分布式消息队列背后的技术细节、原理，进行一下简单的分析和说明。 首先，在一个企业级的架构应用中，究竟何时需引...
centos 6.7下安装rabbitmq 3.6.6过程【代码】
准备，请确保有root权限或者sudo权限，不然不用继续看下去了。1.erland的安装首先测试一下是否已经安装了erlang，命令rpm -qa | grep erlang若没有安装，则yuminstall erlang否则跳到第二步2. rabbitmq server安装下载rpm文件rabbitmq-server-3.6.6-1.el6.noarch.rpm到linux文件中，执行命令rpm -ivh rabbitmq-server-3.6.6-1.el6.noarch.rpm3.启动rabbit server及admin进入安装目录的sbin目录(/usr/sbin)，启用监控管理rabbitmq-p...
使用事件和消息队列实现分布式事务
原文：http://skaka.me/blog/2016/04/21/springcloud1/不同于单一架构应用(Monolith), 分布式环境下, 进行事务操作将变得困难, 因为分布式环境通常会有多个数据源, 只用本地数据库事务难以保证多个数据源数据的一致性. 这种情况下, 可以使用两阶段或者三阶段提交协议来完成分布式事务.但是使用这种方式一般来说性能较差, 因为事务管理器需要在多个数据源之间进行多次等待. 有一种方法同样可以解决分布式事务问题, 并且性能较好, 这...
RabbitMQ消息队列（四）：分发到多Consumer（Publish/Subscribe）【代码】【图】
<=== RabbitMQ消息队列（三）：任务分发机制 上篇文章中，我们把每个Message都是deliver到某个Consumer。在这篇文章中，我们将会将同一个Message deliver到多个Consumer中。这个模式也被成为 "publish / subscribe"。 这篇文章中，我们将创建一个日志系统，它包含两个部分：第一个部分是发出log（Producer），第二个部分接收到并打印（Consumer）。 我们将构建两个Consumer，第一个将log写到物理磁盘上；第二个将lo...
golang操作RabbitMQ--话题模式【代码】
创建连接及RabbitMQ结构体实例代码见 https://www.cnblogs.com/prince5460/p/11895844.html1.创建话题模式RabbitMQ实例func NewRabbitMQTopic(exchangeName, routingKey string) *RabbitMQ {//创建RabbitMQ实例rabbitmq := NewRabbitMQ("", exchangeName, routingKey)var err error//获取connectionrabbitmq.conn, err = amqp.Dial(rabbitmq.Mqurl)rabbitmq.failOnErr(err, "Failed to connect rabbitmq!")//获取channelrabbitmq.c...
rabbitMq消费死循环【代码】
消费过程发生错误容易造成死循环1。控制重发次数 2.try+catch+手动ack 3.try+catch+手动ack+死信队列 原文：https://www.cnblogs.com/wangbiaohistory/p/14590489.html
Spark 消息队列机制源码学习【代码】【图】
源码学习spark源码注释中有下面一句话:Asynchronously passes SparkListenerEvents to registered SparkListeners即所有spark消息SparkListenerEvents 被异步的发送给已经注册过的SparkListeners. 在SparkContext中, 首先会创建LiveListenerBus实例,这个类主要功能如下:保存有消息队列,负责消息的缓存 保存有注册过的listener,负责消息的分发 该类的继承层次如下所示: listener链表保存在ListenerBus类中,为了保证并发访问的安全...
消息队列介绍【图】
1、什么是消息队列? 消息队列（Message Queue，简称MQ），指保存消息的一个容器，本质是个队列。 消息（Message）是指在应用之间传送的数据，消息可以非常简单，比如只包含文本字符串，也可以更复杂，可能包含嵌入对象。 消息队列（Message Queue）是一种应用间的通信方式，消息发送后可以立即返回，有消息系统来确保信息的可靠专递，双发进行存取操作，发布者和使用者都不用感知对方的存在。 2、消息队列优点 屏蔽异构平台的细节...
RabbitMQ 入门 Helloworld【代码】【图】
1、Windows下RabbitMQ的安装 下载Erlang，地址：http://www.erlang.org/download/otp_win32_R15B.exe ，双击安装即可（首先装） 下载RabbitMQ，地址：http://www.rabbitmq.com/releases/rabbitmq-server/v3.3.4/rabbitmq-server-3.3.4.exe ，双击安装即可 下载rabbit-client.jar ，Java代码时需要导入。地址：http://www.rabbitmq.com/releases/rabbitmq-java-client/v3.3.4/rabbitmq-java-client-bin-3.3.4.zip 安装完...
springBoot（24）：集成rabbitmq【代码】【图】
注意：springboot支持的amqp规范的中间件只有rabbitmq第一步：添加依赖<!-- amqp --> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-amqp</artifactId> </dependency>第二步：配置application.ymlspring: application: name: boot-rabbitmq rabbitmq: host: 192.168.175.13 port: 5672 username: liuy password: 123456第三步：编写amqp队列配置pac...
golang:高性能消息队列moonmq的简单使用【代码】
在上一篇moonmq的介绍中（这里），我只简短的罗列了一些moonmq的设计想法，可是对于怎样使用并没有具体说明，公司同事无法非常好的使用。 对于moonmq的使用，事实上非常easy，例子代码在这里，我们仅仅须要处理好broker，consumer以及publisher的关系就能够了。 首先，我们须要启动一个broker，由于moonmq如今仅仅支持tcp的自己定义协议，所以broker启动的时候须要指定一个listen address。#启动broker ./simple_broker -addr=127...
windows下RabbitMQ 监控【图】
RabbitMQ的监控很简单，网上也有很多资料，但是大都不详细，让人云里雾里，我这里详细总结下。 RabbitMQ本身提供了一个web的监控页面，只需要简单的几部命令行就可以访问这个页面了。 1.打开命令行，但是切记，这里的命令行不是 运行命令行，是运行rabbitmq程序命令行，如下图所示：在搜索框里面查找了命令程序，打开后如下图 所示： 在这个界面里依次收入以下命令： rabbitmq-service.bat stop rabbitmq-service.bat inst...
rabbitMQ之AMQP协议【图】
1.什么是AMQP协议 即高级消息队列协议，规范客户端与消息中间件服务器之间的通信，并能相互操作。2.AMQP协议的作用 降低应用程序之间的耦合度，这样不同应用之间的集成的难度将变得更小，并开发出更有用的应用程序 。3.AMQP协议的模型 包含三个成员：Exchange,Message Queue,Binding Exchange:转换成员，是接收应用程序发过来的信息，但通过Binding这个路由规则，路由到对应的Message Queue中 Message Queue:这个是存储实际队...
RabbitMQ channel.BasicQos【代码】
Channel.exchangeDeclare()type：有direct、fanout、topic三种durable：true、false true：服务器重启会保留下来Exchange。警告：仅设置此选项，不代表消息持久化。即不保证重启后消息还在。原文：true if we are declaring a durable exchange (the exchange will survive a server restart)autoDelete:true、false.true:当已经没有消费者时，服务器是否可以删除该Exchange。原文1：true if the server should delete the exchang...
Springboot接入RabbitMQ详细教程【代码】
本文适用于对 RabbitMQ 有所了解的人，在此不讨论MQ的原理，只讨论如何接入。其实Spring Boot 集成 RabbitMQ 非常简单，本文章使用的是Spring Boot 提供了spring-boot-starter-amqp 项目对消息各种支持。接下来将进入正题，六步轻松教你接入RabbitMQ1.配置pom文件所依赖的主要jar包<dependency><groupId>org.springframework.amqp</groupId><artifactId>spring-rabbit</artifactId><version>2.0.4.RELEASE</version> </dependency>...
RabbitMQ学习系列（三）: C# 如何使用 RabbitMQ【代码】【图】
上一篇已经讲了Rabbitmq如何在Windows平台安装，还不了解如何安装的朋友，请看我前面几篇文章：RabbitMQ学习系列一：windows下安装RabbitMQ服务 ， 今天就来聊聊 C# 实际开发的过程中，怎么调用 用RabbitMQ。 一、客户端 RabbitMQ 有很多客户端API，都非常的好用。我们在一边，一直用的都是 EasyNetQ，所以这里的 demo 只介绍 EasyNetQ 客户端实现。其他的客户端，大家自己去研究吧。 EasyNetQ 是一个易于使用的R...
rabbitmq学习之路(二)【图】
学习的效率有点低，慢慢来！了解一下rabbmq中的一些基础概念吧 Publisher: 产生消息Exchange: 交换机 负责按照一定的路由规则分发消息到队列中Queue: 队列 消息的载体 负责存储消息 每个消息都会被投入到一个或多个队列Consumer : 数据的接收方 负责消费消息Binding: 绑定 把消息队列和交换机按照一定的路由规则绑定起来Routing Key：路由关键字 交换机按照路由关键字来匹配你的队列Broker ：AMQP的服务端称为Brok...
谈谈消息队列的流派
关于 MQ 的定义 Message Queue（MQ）消息队列中间件，通常我们在网上看到的对其定义是将消息的发送和接受分离来实现应用程序的异步和解耦，给人的直觉是 MQ 是异步的，用来解耦的。但这个只是 MQ 的效果，而不是目的。MQ 真正的目的是为了通讯，屏蔽底层复杂的通讯协议，定义了一套应用层上更加简单的通讯协议。一套分布式系统中两个模块之间通讯要么是 HTTP，要么是 TCP，但这两种协议其实都是原始的协议。前者实现通讯就必须要做...
RabbitMQ 几种工作模式---（六）Publisher Confirms（发布者确认）【代码】【图】
发布者确认发布者确认 是RabbitMQ扩展，可以实现可靠的发布。在通道上启用发布者确认后，代理将异步确认客户端发布的消息，这意味着它们已在服务器端处理。 生产者：package com..confirm;import com..utils.RabbitConstant; import com..utils.RabbitUtils; import com.rabbitmq.client.*;import java.io.IOException; import java.util.Iterator; import java.util.LinkedHashMap; import java.util.Map; import java.util.concu...
python+rabbitMQ抓取某婚恋网站用户数据【图】
“总是向你索取却不曾说谢谢你～～～～”，在博客园和知乎上面吸收了很多知识，以后也会在这里成长，这里挺好，谢谢博客园和知乎，所以今天也把自己在项目期间做的东西分享一下，希望对朋友们有所帮助。。。。 废话少说，let‘s go～～～～！ 需求： 项目需要做一个婚恋网站，主要技术有nginx，服务器集群，redis缓存，mysql主从复制，amoeba读写分离等等，我主要用rabbitMQ+python完成并实现了数据爬取工作（数据库写入及图片...
RabbitMQ 运转流程【图】
在最初状态下，生产者发送消息的时候(1) 生产者连接到RabbitMQ Broker ， 建立一个连接( Connection) ，开启一个信道(Channel)(2) 生产者声明一个交换器，并设置相关属性，比如交换机类型、是否持久化等(3) 生产者声明一个队列井设置相关属性，比如是否排他、是否持久化、是否自动删除等( 4 ) 生产者通过路由键将交换器和队列绑定起来( 5 ) 生产者发送消息至RabbitMQ Broker，其中包含路由键、交换器等信息(6) 相应的交换器根据接收...
中小企业openstack私有云布署实践【6 RabbitMQ】
生产环境建议在集群三台controller上做rabbitmq使用到队列的openstack组件OpenStack ComputeOpenStack Block StorageOpenStack NetworkingTelemetry 本来愿望是美好的，但我们参考官方本置方法，并生了（openstack集群--rabbitmq集群配置）发现在演练切换rabbitmq时，会出现compute和neutron服务的访问抛出rabbitmq的错误日志，需要等很长时间服务超时了，才能恢复，或者实时重启所有服务才能恢复 受此限制，2边接队列只能做冷备方...
RabbitMQ消息队列（七）：适用于云计算集群的远程调用(RPC) [转]【图】
在云计算环境中，很多时候需要用它其他机器的计算资源，我们有可能会在接收到Message进行处理时，会把一部分计算任务分配到其他节点来完成。那么，RabbitMQ如何使用RPC呢？在本篇文章中，我们将会通过其它节点求来斐波纳契完成示例。1. 客户端接口 Client interface 为了展示一个RPC服务是如何使用的，我们将创建一段很简单的客户端class。 它将会向外提供名字为call的函数，这个call会发送RPC请求并且阻塞知道收到RPC运算的...
大型网站架构系列：消息队列（二） （转）【图】
本文是大型网站架构系列：消息队列（二），主要分享JMS消息服务，常用消息中间件（Active MQ，Rabbit MQ，Zero MQ，Kafka）。【第二篇的内容大部分为网络资源的整理和汇总，供大家学习总结使用，最后有文章来源】本次分享大纲消息队列概述（见第一篇：大型网站架构系列：分布式消息队列（一））消息队列应用场景（见第一篇：大型网站架构系列：分布式消息队列（一））消息中间件示例（见第一篇：大型网站架构系列：分布式消息队列（...