conga下HA高可用集群的搭建（redhat6.5）

实验环境

redhat6.5虚拟机三台，各1G内存，时间同步

server1  172.25.44.1

server2  172.25.44.2

server3  172.25.44.3

火墙和selinux均处于关闭状态

编辑/etc/hosts文件，加入解析

不支持在集群节点中使用 NetworkManager。如果已经在集群节点中安装了 NetworkManager,应该删除或者禁用该程序。

server1  server2 ricci节点

(1).yum源配置

650) this.width=650;" src="/upload/getfiles/default/2022/11/9/20221109061001145.jpg" title="Screenshot from 2016-07-14 21:04:40.png" />

vim /etc/yum.repos.d/rhel-source.repo 

[server]

name=localserver

baseurl=http://172.25.44.44/rhel6.5

gpgcheck=0

[HighAvailability]     ###高可用集群

name=localserver

baseurl=http://172.25.44.44/rhel6.5/HighAvailability

gpgcheck=0

[LoadBalancer]

name=localserver

baseurl=http://172.25.44.44/rhel6.5/LoadBalancer

gpgcheck=0

[ResilientStorage]   ###存储

name=localserver

baseurl=http://172.25.44.44/rhel6.5/ResilientStorage

gpgcheck=0

[ScalableFileSystem]     ###大型文件系统

name=localserver

baseurl=http://172.25.44.44/rhel6.5/ScalableFileSystem

gpgcheck=0

yum repolist ###列出可用的包，默认都是server里面的3690 个包

yum源配置完成之后，有可用的包  共3819       

650) this.width=650;" src="/upload/getfiles/default/2022/11/9/20221109061001616.jpg" title="Screenshot from 2016-07-14 21:08:36.png" />

(2).安装ricci以及设置开机自启动

yum install ricci  -y

chkconfig ricci on  ###开机自启动

echo linux | passwd --stdin ricci  ###6.1版本之后要给一个密码(cat /etc/issue查看版本)

/etc/init.d/ricci  start   ###启动服务

server3

(1)yum源的配置同server1 server2

(2)yum install luci -y

   chkconfig luci on  ###开机自启动

(3)/etc/init.d/luci  start   出现如下界面

650) this.width=650;" src="/upload/getfiles/default/2022/11/9/20221109061001881.jpg" title="Screenshot from 2016-07-14 21:27:18.png" />

在 浏览器中访问https://server3.example.com:8084

可以看到如下luci登录界面

以超级用户的身份和密码登录进行管理

650) this.width=650;" src="/upload/getfiles/default/2022/11/9/20221109061002136.jpg" title="Screenshot from 2016-07-14 21:29:10.png" />

创建集群

(1)在luci “Homebase” 页面左侧菜单中点击「管理集群」 。此时会出现「集群」 页面；

(2)点击创建后出现创建集群界面。如下

650) this.width=650;" src="/upload/getfiles/default/2022/11/9/20221109061002502.jpg" title="Screenshot from 2016-07-14 21:48:06.png" />

参数说明：

a.集群名称随意输入，不能超过15个字符

b.如果节点的ricci密码相同，则可以选择“使用相同密码(所有节点)”

c.添加节点，节点名称密码自己添加，端口默认为11111，自己可以更改

d.下载软件安装包比使用本地软件安装包多了一个更新的功能

e.选择加入集群前重启和启动共享存储支持

###点击创建属性之后，会有相关信息显示正在创建；

注意： 点击创建出现错误，重新给ricci节点一个密码，确保其密码和添加节点的时候输入的密码一致。

创建完成后：

650) this.width=650;" src="/upload/getfiles/default/2022/11/9/20221109061002790.jpg" title="Screenshot from 2016-07-15 06:50:39.png" />

650) this.width=650;" src="/upload/getfiles/default/2022/11/9/20221109061003142.jpg" title="Screenshot from 2016-07-15 07:41:49.png" />

clustat查看状态

配置fence设备

产生脑裂：

(1) 网络突然断开，彼此都以为对方接收不到信息，然后同时对数据进行操作

(2) 一个夯住，另外一个节点以为对方挂掉，当夯住的那个节点醒来之后继续工作，两个都会对数据进行传送；

夯住的时候可以使用fence机制，简单来说，就是另外一个节点把夯主的那个节点一棍子打死，就不会产生脑裂现象；

图形界面添加一个fence设备

650) this.width=650;" src="/upload/getfiles/default/2022/11/9/20221109061003527.jpg" title="Screenshot from 2016-07-15 06:52:45.png" />

这里用的两个虚拟机，类型选择虚拟设备的多播模型；

物理机只是添加一个连接接口，它可以发出foceoff的命令；

物理机：

(1)

yum install fence-virtd fence-virtd-libvirt  fence-virtd-multicast -y

(2) systemctl start fence_virtd  ###开启服务

netstat -anulpe #查看端口 1229

(3)fence_virtd  -c

默认回车   Interface [virbr0]: br0   Backend module [libvirt]:libvirt

(4)mkdir /etc/cluster  ###不存在则建立

cd /etc/cluster

dd if=/dev/urandom of=fence_xvm.key bs=128 count=1  ####截取生成fence_xvm.key文件

systemctl restart fence_virtd.service ###重启服务

(5)把key文件scp到其他两个ricci节点主机

scp fence_xvm.key  root@172.25.44.1:/etc/cluster/

scp fence_xvm.key  root@172.25.44.2:/etc/cluster/

建立虚拟机和其hostname之间的映射

在图形界面节点选项中选择一个设备比如server1:

650) this.width=650;" src="/upload/getfiles/default/2022/11/9/20221109061003880.jpg" title="Screenshot from 2016-07-15 07:14:07.png" />

650) this.width=650;" src="/upload/getfiles/default/2022/11/9/20221109061004198.jpg" title="Screenshot from 2016-07-15 07:16:06.png" />

这里的Domain可以是虚拟机的名称或者uuid，uuid是唯一的

server2和server1的方法一样，把所有节点都配置

检测：在server1中： fence_node server2.example.com 

  server2断电重启,执行forceoff命令，反之一样

650) this.width=650;" src="/upload/getfiles/default/2022/11/9/20221109061004552.jpg" title="Screenshot from 2016-07-15 07:21:36.png" />

创建Failover Domain

Failover Domain是配置集群的失败转移域，通过其可以将服务器和资源的切换限制在指定的节点间

650) this.width=650;" src="/upload/getfiles/default/2022/11/9/20221109061004980.jpg" title="Screenshot from 2016-07-15 07:23:27.png" />

参数说明：

prioritized:是否在这个域中启用域成员优先级设置，这里选择启用；

Restricted:是否在失败转移域成员中启用服务故障切换限制；

No failback:主节点故障，备节点会自动接管相关业务；当主节点恢复正常，不恢复到主节点，只有当备节点故障时，才会回到主节点；

优先级的设置，数字越小，优先级越高

创建资源

650) this.width=650;" src="/upload/getfiles/default/2022/11/9/20221109061005360.jpg" title="Screenshot from 2016-07-15 07:24:50.png" />

填写的ip要是ping不通的，为集群vip

650) this.width=650;" src="/upload/getfiles/default/2022/11/9/20221109061005658.jpg" title="Screenshot from 2016-07-15 07:29:35.png" />

两台ricci节点主机安装httpd，且httpd的状态为stop

 创建资源组

650) this.width=650;" src="/upload/getfiles/default/2022/11/9/20221109061006014.jpg" title="Screenshot from 2016-07-15 07:32:25.png" />

添加资源，顺序ip-->httpd

添加的顺序就是开机的启动顺序

测试：

在server1和server2中创建测试页

server1:echo  "<h1>server1</h1>" >/var/www/html/index.html

server2:echo  "<h1>server2</h1>" >/var/www/html/index.html

当前在server1

网页访问：172.25.44.144 

(1)

650) this.width=650;" src="/upload/getfiles/default/2022/11/9/20221109061006314.jpg" title="Screenshot from 2016-07-15 08:08:13.png" />

650) this.width=650;" src="/upload/getfiles/default/2022/11/9/20221109061006580.jpg" title="Screenshot from 2016-07-15 08:05:01.png" />

650) this.width=650;" src="/upload/getfiles/default/2022/11/9/20221109061006933.jpg" title="Screenshot from 2016-07-15 08:09:58.png" />

 正常情况下由server1主管，当server1的服务停止后，由server2进行接管，由于是一个集群vip，所以ip不变。

(2)server 2: /etc/init.d/network  stop

650) this.width=650;" src="/upload/getfiles/default/2022/11/9/20221109061006314.jpg" title="Screenshot from 2016-07-15 08:08:13.png" />

(3)server1： echo c > /proc/sysrq-trigger   ###使内核崩掉

server1 崩掉后fence机制，force重启

  共享：

server3:装有luci的主机

 yum install scsi-* -y

添加磁盘8G  fdisk -l 可以查看

分区fdisk -cu /dev/vda

vim /etc/tgt/targets.conf

650) this.width=650;" src="/upload/getfiles/default/2022/11/9/20221109061007423.jpg" title="Screenshot from 2016-07-15 08:21:52.png" />

/etc/init.d/tgtd  start

server1  server2

(两台ricci节点主机)

yum install iscsi-* -y

650) this.width=650;" src="/upload/getfiles/default/2022/11/9/20221109061007748.jpg" title="Screenshot from 2016-07-15 08:26:20.png" />

检测并登录

登录成功后fdiks -l 查看多了/dev/sdb

以上操作两台主机都执行

server1：

在server1中对/dev/sdb/进行分区（server2执行partprobe后会同步）

fdisk -cu /dev/sdb     t   8e

pvcreate /dev/sdb1

vgcreate clustervg /dev/sdb1

lvcreate  -L 2G -n data1 clustervg

mkfs.ext4 /dev/clustervg/data1   

ext4 本地文件系统，不支持多个挂载点同时对文件进行读写，保证一个点挂载不会出现问题

mount /dev/clustervg/data1  /mnt

 echo "<h1>linux</h1>" /mnt/index.html   ####编辑测试页

umount /mnt

 server1  server2

clusvcadm  -d apache  ###停止apache

650) this.width=650;" src="/upload/getfiles/default/2022/11/9/20221109061008138.jpg" title="Screenshot from 2016-07-15 08:46:28.png" />

650) this.width=650;" src="/upload/getfiles/default/2022/11/9/20221109061008511.jpg" title="Screenshot from 2016-07-15 08:49:46.png" />

在服务组里面添加资源

顺序：ip --> filesystem(data1) -->httpd(script)

clusvcadm  -e apache  ###启动apache

测试：172.25.44.144

650) this.width=650;" src="/upload/getfiles/default/2022/11/9/20221109061008841.jpg" title="Screenshot from 2016-07-15 11:16:43.png" />

原文：http://11838039.blog.51cto.com/11828039/1827049