# 查看防火墙状态
firewall-cmd --state
# 停止firewall
systemctl stop firewalld.service
# 禁止firewall开机启动
systemctl disable firewalld.service

vi /etc/yum.repos.d/nginx.repo

                [nginx]
name=nginx repo  
baseurl=http://nginx.org/packages/centos/7/$basearch/
gpgcheck=0
enabled=1

yum install nginx -y

nginx -v

yum install keepalived -y

                systemctl start keepalived.service
systemctl enable keepalived.service
            

! Configuration File for keepalived

global_defs {
   notification_email {
     # 邮件通知
     root@localhost
   }
   # 指定发件人
   notification_email_from Alexandre.Cassen@firewall.loc
   # 指定smtp服务器地址
   smtp_server 127.0.0.1
   # 指定smtp连接超时时间
   smtp_connect_timeout 30
   # 此处注意router_id为负载均衡标识，在局域网内应该是唯一的，通常为hostname
   router_id LVS_DEVEL_181
}

# keepalived会定时执行脚本并对脚本执行的结果进行分析,动态调整vrrp_instance的优先级。
# 如果脚本执行结果为0,并且weight配置的值大于0,则优先级相应的增加。如果脚本执行结果非0,
# 并且weight配置的值小于 0,则优先级相应的减少。其他情况,维持原本配置的优先级,即配置文件中priority对应的值。
vrrp_script chk_nginx {
       script "/etc/keepalived/nginx_check.sh"
       # 每2秒检测一次nginx的运行状态
       interval 2
       # 失败一次，将自己的优先级-20
       weight -20
}

# 虚拟路由的标识符
vrrp_instance VI_1 {
    # 状态只有MASTER和BACKUP两种，并且要大写，MASTER为工作状态，BACKUP是备用状态
    state MASTER
    # 通信所使用的网络接口，可用ifconfig查看
    interface ens32
    # 虚拟路由的ID号，是虚拟路由MAC的最后一位地址
    virtual_router_id 51
    # 指定发送组播数据包的源IP地址。默认是绑定VRRP实例的接口的主IP地址
    mcast_src_ip 192.168.177.181
    # 此节点的优先级，主节点的优先级需要比其他节点高
    priority 100
    # 通告的间隔时间
    advert_int 1
    # 认证配置
    authentication {
        # 认证方式
        auth_type PASS
        # 认证密码
        auth_pass 1111  
    }
# 虚拟IP，两个节点设置必须一样。可以设置多个，一行写一个 
# 虚拟ip地址,可以有多个地址，每个地址占一行，不需要子网掩码，同时这个ip 必须与我们在lvs 客户端设定的vip 相一致！                   
    virtual_ipaddress {
        192.168.177.100
    }
    track_script {
       # nginx存活状态检测脚本
       chk_nginx
    }
}

# 集群所使用的VIP和端口
virtual_server 192.168.177.100443 {
    # 健康检查间隔，单位为秒
    delay_loop 6
    # lvs调度算法rr|wrr|lc|wlc|lblc|sh|dh
    lb_algo rr
    # 负载均衡转发规则。一般包括DR,NAT,TUN 3种
    lb_kind NAT
    # 会话保持时间，会话保持，就是把用户请求转发给同一个服务器，不然刚在1上提交完帐号密码，就跳转到另一台服务器2上了
    persistence_timeout 50
    # 转发协议，有TCP和UDP两种，一般用TCP
    protocol TCP
    
    # 真实服务器，包括IP和端口号
    real_server 192.168.177.181443 {
    # 默认为1,0为失效
        weight 1
    # 通过tcpcheck判断RealServer的健康状态
    TCP_CHECK {
            # 连接超时时间
            connect_timeout 3
            # 重连次数
            nb_get_retry 3
            # 重连间隔时间
            delay_before_retry 3
            # 健康检查的端口
            connect_port 23
        }
   }
}

                global_defs {
   # 此处注意router_id为负载均衡标识，在局域网内应该是唯一的
   router_id LVS_DEVEL_191 
}

vrrp_script chk_nginx {
    script 
                "
                /etc/keepalived/nginx_check.sh
                "
                
    interval 
                2
                
    weight -20
}

vrrp_instance VI_1 {
    # 与master不同，备份节点为BACKUP
    state BACKUP
    # 根据实际配置 ifconfig查看
    interface ens33 
    virtual_router_id 51
    # 备，本机ip
    mcast_src_ip 192.168.177.191
    priority 90
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        # VIP 要同master 一致
        192.168.177.100
    }

    track_script {
       chk_nginx
    }
}

virtual_server 192.168.177.100443 {
    delay_loop 6       
    lb_algo rr
    lb_kind NAT
    persistence_timeout 50
    protocol TCP
    # 真实服务器，包括IP和端口号
    real_server 192.168.177.191443 {
        weight 1
        
    TCP_CHECK {
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
            connect_port 23
        }
   }
}

#!/bin/bash
#监测心跳脚本
#查看nginx是否启动，如果没启动则启动，如果启动不起来，停掉keepalived服务，此时心跳断掉，服务转向另一个nginx
counter=$(ps -C nginx --no-heading|wc -l)
echo "${counter}"if [ "${counter}" = "0" ]; then
    echo "即将启动nginx"
    service nginx start ##/usr/sbin/nginx #尝试重新启动nginx
    sleep 2 #睡眠2秒

    counter=$(ps -C nginx --no-heading|wc -l)
    if [ "${counter}" = "0" ]; then
        service keepalived stop # killall keepalived #启动失败，将keepalived服务杀死。将vip漂移到其它备份节点
        echo "nginx启动失败，将vip漂移到其它备份节点"else
        echo "nginx启动成功"
    fi
fi

service keepalived start

ps -ef | grep keepalived

ps -ef | grep nginx

ip addr

                service keepalived stop
ip addr
            

service keepalived start

                user  nginx;
worker_processes  
                1
                ;

error_log  /var/log/nginx/error.log warn;
pid        /var/run/nginx.pid;


events {
    worker_connections  1024;
}


http {
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;

    log_format  main  ‘$remote_addr - $remote_user [$time_local] "$request" ‘‘$status $body_bytes_sent "$http_referer" ‘‘"$http_user_agent" "$http_x_forwarded_for"‘;

    access_log  /var/log/nginx/access.log  main;

    sendfile        on;
    #tcp_nopush     on;

    keepalive_timeout  65;

    #gzip  on;
    
    # 指定自定义配置文件目录、名称（esb.conf生效的原因）
    include /etc/nginx/conf.d/*.conf;
}

                upstream my10016 {
                least_conn; #最少连接
                server 
                192.168.177.167:10016; 
                server 192.168.177.176:10016;
    }
    server {
        listen       10016;
        server_name  192.168.177.100;# 监听ip使用vip
        location / {
            proxy_pass   http://my10016;  # 设置代理            index  index.html index.htm;
        }
  }

                upstream my10016 {
    #负载均衡策略，最少连接，默认为轮询
    #least_conn;
    # 被动健康检查
    # 如果NGINX无法在30秒内向服务器发送请求或没有收到3次响应，则会将服务器标记为30秒不可用
    # 如果只有一个单一的服务器组中，将fail_timeout和max_fails参数被忽略，服务器永远不会标记为不可用
    # 意思是在fail_timeout时间内失败了max_fails次请求后，则认为该上游服务器不可用，然后将该服务地址踢除掉。fail_timeout时间后会再次将该服务器加入存活列表，进行重试。
    server 
                192.168.177.167:10016 fail_timeout=30s max_fails=3;
    server 192.168.177.176:10016 fail_timeout=30s max_fails=3;
}

                upstream my10016 {
    #负载均衡策略，最少连接，默认为轮询
    #least_conn;
    # 被动健康检查
    # 如果NGINX无法在30秒内向服务器发送请求或没有收到3次响应，则会将服务器标记为30秒不可用
    # 如果只有一个单一的服务器组中，将fail_timeout和max_fails参数被忽略，服务器永远不会标记为不可用
    # 意思是在fail_timeout时间内失败了max_fails次请求后，则认为该上游服务器不可用，然后将该服务地址踢除掉。fail_timeout时间后会再次将该服务器加入存活列表，进行重试。
    server 
                192.168.177.167:10016 fail_timeout=30s max_fails=3;
    server 192.168.177.176:10016 fail_timeout=30s max_fails=3;
}

server {
    listen       10016;

# 监听vips
    server_name  192.168.177.100;
    location / {
       # 定义了什么情况下进行重试，此处error，timeout，http_500
       # non_idempotent 允许非幂等请求重试
       # post, lock, patch 这种会对服务器造成不幂等的方法，默认是不进行重试的，如果一定要进行重试，则要加上这个配置
       proxy_next_upstream error timeout http_500 non_idempotent;
       # 读取超时时间，默认值60s，此处10s
       # proxy_read_timeout 10s;
       # 连接超时时间
       proxy_connect_timeout 3s;
       # 6s后nginx 重试
       proxy_next_upstream_timeout 6s;
       # 重试次数,注意：此机制可能会导致数据重复插入的情况
       # 参考：https://www.cnblogs.com/lc0605/p/10444086.html
        proxy_next_upstream_tries 3;
        proxy_pass   http://my10016;  # 设置代理        ndex  index.html index.htm;
    }
}