RabbitMQ简介RabbitMQ是实现了高级消息队列协议（AMQP）的开源消息代理软件（亦称面向消息的中间件）。RabbitMQ是一套开源（MPL）的消息队列服务软件，是由LShift提供的一个Advanced Message Queuing Protocol（AMQP）的开源实现，由以高性能、健壮以及可伸缩性出名的Erlang写成。选择RabbitMQ市面上有很多MQ可以选择，如：ActiveMQ、ZeroMQ、Apache Qpid及RocketMQ，为什么要选择RabbitMQ呢？1. 除了Qpid，RabbitMQ是唯一一个实现...
安装包下载地址：http://emqtt.com/downloads在这里我们下载 emqttd-centos6.8-v2.1.2.zip配置两台主机hosts192.168.0.10 s1.emqtt.io 192.168.0.20 s2.emqtt.io安装配置(s1.emqtt.io)： 安装依赖包 # yum install -y lksctp-tools 安装 # unzip emqttd-centos6.8-v2.1.2.zip #cd emqttd #vi etc/emq.conf node.name = emqttd@s1.emqtt.io或node.name = emqttd@192.168.0.10同理配置s2.emqtt.io,分别启动两台节点启动# bin...
一、环境准备 1、下载安装包官网：http://zookeeper.apache.org/ 下载地址：http://archive.apache.org/dist/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz 下载过程就不说了，我们下载的是zookeeper-3.4.14的包 2、上传安装包 把下载的包（如：zookeeper-3.4.14.tar.gz）上传到服务器，上传的方式也不多说了。 3、解压tar -zxvf zookeeper-3.4.14.tar.gz 3、移动到/usr/local目录下mv zookeeper-3.4.14 ...
本文是在CentOS7.4 下进行CDH6集群的完全离线部署。CDH5集群与CDH6集群的部署区别比较大。说明：本文内容所有操作都是在root用户下进行的。文件下载首先一些安装CDH6集群的必须文件要先在外网环境先下载好。Cloudera Manager 6.3.0CM6 RPM：https://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPMS/x86_64/ 需要下载该链接下的所有RPM文件，保存到cloudera-repos目录下。ASC文件：https://archive.cloudera.com/cm6/6.3.0/allkey...
centos HA高可用集群 第三十二节课 一般服务器都有两个网卡或者都有串口，一个网卡专门心跳，或者用串口线 做心跳线 ，COM口串口不能设置ip 上半节课 下半节课 HA 即 （high available）高可用，又被叫做双机热备，用于关键性业务。 简单理解就是，有两台机器A和B，正常是A提供服务，B待命闲置当A宕机或服务宕掉，会切换至B机器继续提供服务。常用实现高可用的开源软件有heartbeat和keepalived，其中keepalived有负载均衡的...
一、三台服务器分别如下：172.28.5.120，172.28.5.124，172.28.5.125：slave3二、首先需要安装JAVA环境参考：https://www.cnblogs.com/sky-cheng/p/10564569.html三、下载zookeeper三台服务器均下载[root@redis-01 src]# cd /usr/local/src/ [root@redis-01 src]# wget http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz三、解压[root@redis-01 src]# tar -zxvf zookeeper-3.4.14.tar.gz四、...
一：rabbitmq的安装：参考：http://www.blogjava.net/hellxoul/archive/2014/06/25/415135.html http://blog.haohtml.com/archives/15249 说明：修改机器名字后再安装（为后面集群做准备）vi /etc/sysconfig/network 修改名字vi /etc/hosts 修改地址映射表，如192.168.1.112 rabbitmq-node1.com rabbitmq-node1 #做集群时设置重启1.安装erlang：#rpm -Uvh http://mirrors.hustunique.com/epel/6/x86_64/epel-release-6-8.n...
目录1.下载virtual box 虚拟机管理软件2.下载CentOS镜像3.启动CentOS4.配置网络5.配置DNS 进行域名解析获取域名的 IP地址6.配置host7.关闭防火墙8.还有一个策略需要关闭下（不关闭的话Xshell链接会失败）9.配置yum工具10.配置Xshell参考1.下载virtual box 虚拟机管理软件网址https://www.virtualbox.org/wiki/Downloads,(VMware也可以,但听说会不稳定),官网下载可能较慢,可以使用别的软件管家下载2.下载CentOS镜像这里使用的是Cent...
一、部署环境操作系统：CentOS Linux release 7.6.1810 (Core)安装软件：docker：18.06.3-cekubernetes：v1.15.4二、部署架构： 部署开始前，先把主机名改成如上图所示。同时修改/etc/hosts，如下： 三、部署过程1、安装docker（所有节点）1.1、卸载可能存在的依赖包sudoyum remove docker docker-common container-selinux docker-selinux docker-engine1.2、安装 yum-utils，它提供了 yum-config-manager，可用来管理yum源sudoy...
1. 环境准备zookeeper3.4.12mysql5.7hive2.3.4hadoop2.7.3JDK1.8hbase1.3.32. 集群规划ip地址机器名角色192.168.1.101palo101hadoop namenode, hadoop datanode, yarn nodeManager, zookeeper, hive, hbase master,hbase region server，192.168.1.102palo102hadoop namenode, hadoop datanode, yarn nodeManager, yarn resource manager, zookeeper, hive, hbase master,hbase region server192.168.1.103palo103hadoop namenode...
简介 Linux持续不断进军可扩展计算空间，特别是可扩展存储空间，Ceph 最近加入到 Linux 中令人印象深刻的文件系统备选行列，它是一个分布式文件系统，能够在维护 POSIX 兼容性的同时加入了复制和容错功能Ceph 生态系统架构可以划分为四部分：1、Clients：客户端（数据用户）2、cmds：Metadata server cluster，元数据服务器（缓存和同步分布式元数据）3、cosd：Object storage cluster，对象存储集群（将数据和元数据作为对象存储，...
注意：此次搭建是在ssh无密码配置、jdk环境已经配置好的情况下进行的可以参考： Hadoop完全分布式安装教程CentOS环境下搭建hadoop伪分布式集群1.更改主机名执行命令：vi /etc/sysconfig/network2.设置hosts中ip与主机名的绑定执行命令 vi /etc/hosts在里面添加选项设置你的主机名与ip的对应关系3.安装hadoop执行命令,将压缩包解压到/usr/local/hadoop文件夹下tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C /usr/local/hadoop4.进入...
1. Kafka集群的安装准备1.1. 选择安装Kafka的版本由于kafka是scala语言编写的，基于scala的多个版本，kafka发布了多个版本。其中2.11是推荐版本。1.2. 下载并解压安装包解压文件，删除之前的的安装记录，并重命名tar -zxvf kafka_2.11-1.0.0.tgz -C /export/servers/ cd /export/servers/ rm -rf /export/servers/kafka rm -rf /export/logs/kafka/ rm -rf /export/data/kafka mv kafka_2.11-1.0.0 kafka 2. 查看目录及修改配置文件...
zookeeper的三要素：1、一致，能够保证数据的一致性2、有头，始终有一个leader，node/2+1个节点有效，就能正常工作3、数据树，树状结构且每个树必须有数据1. 环境准备操作系统：CentOS Linux release 7.2.1511 (Core)JDK版本：1.8.0_121具体安装jdk的配置请参见本人的博客https://www.cnblogs.com/lenmom/p/9152947.html中关于jdk安装部分的内容，本文假设jdk已经安装好了服务器 192.168.1.101;192.168.1.102;192.168.1.103; 2. 下...
安装k8s集群前期准备：网络环境：节点 主机名 ipMaster k8s_master 192.168.3.216Node1 k8s_node1 192.168.3.217Node2 k8s_node2 192.168.3.219 centos7版本：[root@k8s_master ~]# cat /etc/redhat-releaseCentOS Linux release 7.4.1708 (Core) 关闭firewalld:systemctl stop firewalldsystemctl disable firewalld三台主机基础服务安装：[root@k8s_...