高可用系列之Nginx

[root@lb-node1 ~]# cat /etc/redhat-release  #查看系统版本

CentOS release 6.7 (Final)

[root@lb-node1 ~]# uname -r #查看内核版本

2.6.32-573.el6.x86_64

[root@lb-node1 ~]# getenforce #确认Selinux关闭状态

Disabled

[root@lb-node1 ~]# /etc/init.d/iptables status#确认Iptables关闭状态

iptables: Firewall is not running.

yum install openssl openssl-devel pcre pcre-devel
-y

mkdir -p /home/oldboy/tools

cd /home/oldboy/tools

wget -q
http://nginx.org/download/nginx-1.6.3.tar.gz

ls -l nginx-1.6.3.tar.gz

useradd nginx -s /sbin/nologin -M

tar xf nginx-1.6.3.tar.gz

cd nginx-1.6.3

./configure--user=nginx --group=nginx --prefix=/application/nginx-1.6.3
--with-http_stub_status_module--with-http_ssl_module

make

make install

ln -s /application/nginx-1.6.3 /application/nginx

[root@lb01 ~]#yum -y install keepalived  #lb01端安装keepalived

[root@lb02 ~]#yum -y install keepalived  #lb02端安装keepalived

[root@lb01 ~]# cat /etc/keepalived/keepalived.conf  #Master
Keepalived配置文件

!
Configuration File for keepalived

global_defs {

notification_email {

liangwei.xu@foxmail.qq.com

}

notification_email_from Alexandre.Cassen@firewall.loc

smtp_server 192.168.200.1

smtp_connect_timeout 30

router_id Nginx_01

}

vrrp_instance VI_1 {

state
MASTER

interface eth0

virtual_router_id 51

priority 150

advert_int 1

authentication {

auth_type PASS

auth_pass 1111

}

virtual_ipaddress {

10.0.0.11/24

}

}

[root@lb01 ~]# cat /etc/keepalived/keepalived.conf #Backup Keepalived配置文件

!
Configuration File for keepalived

global_defs {

notification_email {

liangwei.xu@foxmail.qq.com

}

notification_email_from Alexandre.Cassen@firewall.loc

smtp_server 192.168.200.1

smtp_connect_timeout 30

router_id Nginx_02

}

vrrp_instance VI_1 {

state
Backup

interface eth0

virtual_router_id 51

priority 100

advert_int 1

authentication {

auth_type PASS

auth_pass 1111

}

virtual_ipaddress {

10.0.0.11/24

}

}

[root@lb01 ~]# /etc/init.d/keepalived start #启动lb01上Master_keepalived

[root@lb02 ~]# /etc/init.d/keepalived start #启动lb02上Master_keepalived

[root@lb01 ~]# ip addr|grep 10.0.0.11 #查看是否有VIP地址

inet
10.0.0.11/24 scope global secondary eth0

[root@lb01 ~]# /etc/init.d/keepalived stop #停止Master上Keepalived

[root@lb01 ~]# ip addr|grep 10.0.0.11 #VIP已经从Master端移除

[root@lb02 ~]# ip addr|grep 10.0.0.11 #Backup上Keepalived接管资源

inet
10.0.0.11/24 scope global secondary eth0

[root@lb01 ~]# /etc/init.d/keepalived start #启动Master_keepalived

[root@lb01 ~]# ip addr|grep 10.0.0.11 #Master继续接管资源

inet
10.0.0.11/24 scope global secondary eth0

1 !
Configuration File for keepalived
#注释

2

3
global_defs {

4    notification_email {

5      acassen@firewall.loc #5-7发邮件给谁

8    }

9    notification_email_from Alexandre.Cassen@firewall.lo #发邮件发件人

10    smtp_server 192.168.200.1 #邮件服务器地址

11    smtp_connect_timeout 30 #超时时间

12    router_id Nginx_01 #主备ID不能一样

13 }

15 vrrp_instance VI_1 {  #实例名称(建议不修)

16 state MASTER #服务器的状态(仅仅是傀儡)

17     interface eth0 #通信端口

18     virtual_router_id 51 #实例的ID

19     priority 150 #优先级，主备之间最好相差50

20     advert_int 1 #心跳间隔（如果一秒没通信备节点马上接管）

21     authentication {

22         auth_type PASS #PASS认证类型，此参数备节点设置和主节点相同

23         auth_pass 1111 #密码是1111，此参数备节点设置和主节点相同

24     }

25     virtual_ipaddress { #vip（可以多个）

26       10.0.0.11/24 #26-28配置vIP地址，绑定在eth0  因为(interface
eth0)

29     }

30 }

q 全局定义块部分：主要设置 Keepalived 的通知机制和标识

1 、第 4-9 行是 email 通知参数。作用：当 LVS 发生切换或 RS 等有故障时，会发邮件报警。这是可选配， notifucation_email 指定在 keepalived 发生事件时，需要发给的 email 地址，可以有多个，每行一个。

2 、 smtp_server 指定发送邮件的 smtp 服务器，如果本机开启了 sendmail ，就可以使用上面默认配置实现邮件发送。

3 、第 10 行是 Lvs 负载均衡器标示（ rote_id ）。在一个局域网内，它应该是唯一的。

4 、大括号 ”{}” 用来分隔定义块，因此必须成对出现。如果漏写了， keepalived 运行时，不会得到预期的结果。由于定义块内存在嵌套关系，因此很容易遗漏结尾处的花括号，这点要特别注意。

q VRRP 定义块

1 、第 13 行为 VRRP 实例 vrrp_instance, 每个 Vrrp 实例可以认为是一个 keepalived 实例，在配置中 VRRP 实例可以有多个。

(1) 第 14 行实例状态 state. 只有 Master 和 Backup 两种状态，并且需要大写这些单词。其中 MASTER 为工作状态。 BACKUP 为备用状态。当 MASTER 所在的服务器失效时， BACKUP 所在的系统会自动把它的状态有 BACKUP 变换成 MASTER ，当失效的 MASTER 所在的系统恢复时， BACKUP 从 MASTER 恢复到 BACKUP 状态。

(2) 通信接口 interface 。对外提供服务的网络结构，如 eth0,eth1 当前主流的服务器有 2 个或 2 个以上的网络接口，在选择服务器接口时，一定要搞清楚了。

(3)lvs_sync_daemon_interface 。负载均衡器之间的监控接口，类似于 HA
HeartBeat 的心跳线。

(4) 第 16 行为虚拟路由标示 virtual_route_id 是一致的，同时在整个 keepalived 内是唯一的。

(5) 第 17 行为优先级 priority ，这是一个数字，数值愈大，优先级越高。在同一个 vrrp_instance 里， MASTER 的优先级
BACKUP 。若 MASTER 的 priority 值为 150 ，那么 BACKUP 的 priority 只能在 149 或者跟小的数值 ( 官方建议相差 50) 。

(6) 第 18 行同步通知间隔 advert_int 。 MASTER 与 BACKUP 负载均衡器之间同步检查的时间间隔，单位为秒。

(7) 第 19-22 行验证 authentication. 包含验证类型和验证密码。类型主要有 PASS 、 AH 两种 , 通常使用的类型为 PASS, 据说 AH 使用时有问题。验证密码为明文，同一 vrrp 实例 MASTER 与 BACKUP 使用相同的密码才能正常通信 , 这里官方推荐用明文即可。

2 、第 23-27 行为虚拟 ip 地址 virtual_ipaddress 。可以配置多个 IP 地址，每个地址占一行，需要指定子网掩码。

注意：这个 ip 必须与我们在 lvs 客户端设定的 vip 相一致。

[root@lb01 ~]#sed
-i '14 s#KEEPALIVED_OPTIONS="-D"#KEEPALIVED_OPTIONS="-D -d -S
0"#g' /etc/sysconfig/keepalived #指定文件接收Keepalived服务日志

[root@lb-node1 conf]# echo -e "local0.* \t
/var/log/keepalived.log" >>/etc/rsyslog.conf  #配置至rsyslog

[root@lb-node1 conf]# tail -1 /etc/rsyslog.conf  #检查是否配置成功

local0.*/var/log/keepalived.log

[root@lb-node1 conf]# /etc/init.d/rsyslog restart  #重新启动rsyslog

Shutting down system logger:                               [  OK  ]

Starting system logger:                                [  OK  ]

[root@lb01 ~]# cat /etc/keepalived/keepalived.conf #这上面第一个实例是Master 第二个实例修改为Backup

vrrp_instance VI_1 {

state
MASTER

interface eth0

virtual_router_id 51

priority 150

advert_int 1

authentication {

auth_type PASS

auth_pass 1111

}

virtual_ipaddress {

10.0.0.11/24

}

}

vrrp_instance VI_2 {

state BACKUP

interface eth0

virtual_router_id
52

priority
100

advert_int 1

authentication {

auth_type PASS

auth_pass 1111

}

virtual_ipaddress {

10.0.0.12/24

}

}

[root@lb02 ~]# cat /etc/keepalived/keepalived.conf #这上面第一个实例是Backup，第二个实例修改为Backup

vrrp_instance
VI_1 {

state
Backup

interface eth0

virtual_router_id 51

priority 100

advert_int 1

authentication {

auth_type PASS

auth_pass 1111

}

virtual_ipaddress {

10.0.0.11/24

}

}

vrrp_instance VI_2 {

state MASTER

interface eth0

virtual_router_id
52

priority
150

advert_int 1

authentication {

auth_type PASS

auth_pass 1111

}

virtual_ipaddress {

10.0.0.12/24

}

}

[root@lb-node1 ~]# ip addr|grep 10.0.0.11

inet
10.0.0.11/24 scope global secondary eth0

[root@lb-node2 ~]# ip addr|grep 10.0.0.12

inet
10.0.0.12/24 scope global secondary eth0

[root@lb-node2 ~]# /etc/init.d/keepalived stop

Stopping keepalived:                                       [  OK  ]

[root@lb-node1 ~]# ip addr|grep 10.0.0

inet
10.0.0.11/24 scope global secondary eth0

inet
10.0.0.12/24 scope global secondary eth0

[root@lb-node2 ~]# /etc/init.d/keepalived start

Starting keepalived:                                       [  OK  ]

[root@lb-node2 ~]# ip addr|grep 10.0.0.12

inet
10.0.0.12/24 scope global secondary eth0

[root@lb-node1 ~]# ip addr|grep 10.0.0

inet
10.0.0.11/24 scope global secondary eth0

[root@lb-node1 ~]# tcpdump -n 'host 224.0.0.18'  抓包

[root@lb02 ~]# cat check_split_brain.sh

#!/bin/sh

lb01_vip=10.0.0.12

lb01_ip=10.0.0.7

while true

do

ping -c 2 -W 3 $lb01_ip &>/dev/null

if [ $? -eq
0 -a `ip add|grep "$lb01_vip"|wc -l` -eq 1 ]

then

echo
"ha is split brain.warning."

else

echo
"ha is ok"

fi

sleep 5

done

[root@lb01 scripts]# cat nginx_pid.sh

#!/bin/sh

while true

do

nginxpid=`ps -C nginx --no-header|wc -l`

if [ $nginxpid -eq 0 ];then

/application/nginx/sbin/nginx

sleep 5

nginxpid=`ps -C nginx --no-header|wc -l`

if [
$nginxpid -eq 0 ];then

/etc/init.d/keepalived stop

exit 1

fi

fi

sleep 5

done