Keepalived+Haproxy高可用负载均衡群集

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

介绍

HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，支持虚拟主机，它是免费、快速并且可靠的一种解决方案。HAProxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。HAProxy运行在当前的硬件上，完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中，同时可以保护你的web服务器不被暴露到网络上.
haproxy 配置中分成五部分内容，分别如下：
- global：参数是进程级的，通常是和操作系统相关。这些参数一般只设置一次，如果配置无误，就不需要再次进行修改
- defaults：配置默认参数，这些参数可以被用到frontend，backend，Listen组件
- frontend：接收请求的前端虚拟节点，Frontend可以更加规则直接指定具体使用后端的backend
- backend：后端服务集群的配置，是真实服务器，一个Backend对应一个或者多个实体服务器

- Listen Fronted和backend的组合体

安装使用

使用以上图的拓扑来配置使用haproxy

1.配置各服务器的IP地址

略

2.安装Haproxy(两台负载均衡器配置一样)

#编译安装

[root@haproxy ~]# tar zxvf haproxy-1.4..tar.gz -C /usr/src/

[root@haproxy ~]# cd /usr/src/haproxy-1.4./

[root@haproxy haproxy-1.4.]# make TARGET=linux26 PREFIX=/usr/local/haproxy

[root@haproxy haproxy-1.4.]# make install PREFIX=/usr/local/haproxy

参数解释：linux26表示linux的内核版本号

可以使用uname -r查看

[root@haproxy ~]# uname -r

2.6.-.el6.x86_64

#创建启动文件

[root@haproxy ~]# cp /usr/src/haproxy-1.4./examples/haproxy.init /etc/init.d/haproxy

[root@haproxy ~]# chmod +x /etc/init.d/haproxy

[root@haproxy ~]# ln -s /usr/local/haproxy/sbin/haproxy /usr/sbin/

#创建配置文件

[root@haproxy ~]# mkdir /etc/haproxy

[root@haproxy ~]# cp /usr/src/haproxy-1.4./examples/haproxy.cfg /etc/haproxy/

3.修改Haproxy配置文件(两台负载均衡器配置一样)

[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg

修改为：

global

        log 127.0.0.1   local0

        log 127.0.0.1   local1 notice

        #log loghost    local0 info

        maxconn

        chroot /usr/share/haproxy

        uid

        gid

        daemon

        #debug

        #quiet

defaults

        log     global

        mode    http

        option  httplog

        option  dontlognull

        retries

        redispatch

        maxconn

        contimeout

        clitimeout

        srvtimeout

listen  web_pool_server 192.168.10.1:

        option  httpchk /index.html

        balance roundrobin

        server  inst1 192.168.10.100: check inter  fall

        server  inst2 192.168.10.200: check inter  fall

启动服务：

[root@haproxy ~]# /etc/init.d/haproxy restart

Shutting down haproxy:                                     [FAILED]

Starting haproxy: [WARNING] / () : parsing [/etc/haproxy/haproxy.cfg:]: keyword 'redi 'option redispatch' instead.

[ALERT] / () : [/usr/sbin/haproxy.main()] Cannot chroot(/usr/share/haproxy).

                                                           [FAILED]

会出现如上错误，解决方法：

方法一：创建此目录(主要用于存放一些临时数据文件)

[root@haproxy ~]# mkdir /usr/share/haproxy

方法二，将haproxy配置文件中的此行注释掉

#chroot /usr/share/haprox

haproxy配置项介绍：

Haproxy配置文件爱你通常分为三部分(global、defaults、listen)，global为全局配置、defaults为默认配置、listen为应用组件配置。

配置说明如下(可参考：http://freehat.blog.51cto.com/1239536/1347882):

###########全局配置#########

global

    log 127.0.0.1   local0 #[日志输出配置，所有日志都记录在本机，通过local0输出]

    log 127.0.0.1   local1 notice  #定义haproxy 日志级别[error warringinfo debug]

        daemon      #以后台形式运行harpoxy

        nbproc    #设置进程数量

        pidfile /home/haproxy/haproxy/conf/haproxy.pid   #haproxy 进程PID文件

    ulimit-n    #ulimit 的数量限制

    maxconn     #默认最大连接数,需考虑ulimit-n限制

        #chroot /usr/share/haproxy #chroot运行路径

    uid                     #运行haproxy 用户 UID

        gid                     #运行haproxy 用户组gid

        #debug      #haproxy 调试级别，建议只在开启单进程的时候调试

        #quiet  

########默认配置############

defaults

    log global

        mode http               #默认的模式mode { tcp|http|health }，tcp是4层，http是7层，health只会返回OK

        option  httplog         #日志类别,采用httplog

    option  dontlognull     #不记录健康检查日志信息

    retries                #两次连接失败就认为是服务器不可用，也可以通过后面设置

    option  forwardfor   #如果后端服务器需要获得客户端真实ip需要配置的参数，可以从Http Header中获得客户端ip

    option  httpclose    #每次请求完毕后主动关闭http通道,haproxy不支持keep-alive,只能模拟这种模式的实现

        #option redispatch       #当serverId对应的服务器挂掉后，强制定向到其他健康的服务器，以后将不支持

        option abortonclose     #当服务器负载很高的时候，自动结束掉当前队列处理比较久的链接

        maxconn             #默认的最大连接数

        timeout connect  5000ms  #连接超时

        timeout client 30000ms  #客户端超时

        timeout server 30000ms  #服务器超时

        #timeout check       #心跳检测超时

    #timeout http-keep-alive10s   #默认持久连接超时时间

    #timeout http-request   10s   #默认http请求超时时间

        #timeoutqueue          1m     #默认队列超时时间

    balance roundrobin    #设置默认负载均衡方式，轮询方式

        #balance source        # 设置默认负载均衡方式，类似于nginx的ip_hash

        #balnace leastconn     #设置默认负载均衡方式，最小连接数  

########统计页面配置########

listen admin_stats

        bind 0.0.0.0:               #设置Frontend和Backend的组合体，监控组的名称，按需要自定义名称

        mode http                       #http的7层模式

        option httplog                  #采用http日志格式

        #log 127.0.0.1 local0 err       #错误日志记录

        maxconn                       #默认的最大连接数

        stats refresh 30s               #统计页面自动刷新时间

        stats uri /stats                #统计页面url

        stats realm XingCloud\ Haproxy  #统计页面密码框上提示文本

        stats auth admin:admin     #设置监控页面的用户和密码:admin,可以设置多个用户名

        stats auth  Frank:Frank   #设置监控页面的用户和密码：Frank

        stats hide-version              #隐藏统计页面上HAProxy的版本信息

    stats  admin if TRUE       #设置手工启动/禁用，后端服务器(haproxy-1.4.9以后版本)  

########设置haproxy 错误页面#####

errorfile   /home/haproxy/haproxy/errorfiles/.http

errorfile  /home/haproxy/haproxy/errorfiles/.http

errorfile  /home/haproxy/haproxy/errorfiles/.http

errorfile  /home/haproxy/haproxy/errorfiles/.http

errorfile  /home/haproxy/haproxy/errorfiles/.http 

########frontend前端配置##############

bind *:

    #这里建议使用bind *:80的方式，要不然做集群高可用的时候有问题，vip切换到其他机器就不能访问了。

    acl web hdr(host) -i www.abc.com

    #acl后面是规则名称，-i是要访问的域名，

    acl img hdr(host) -i img.abc.com

    如果访问www.abc.com这个域名就分发到下面的webserver 的作用域。

    #如果访问img.abc.com.cn就分发到imgserver这个作用域。

    use_backend webserver if web

    use_backend imgserver if img  

########backend后端配置##############

backend webserver             #webserver作用域

    mode http

    balance   roundrobin

    #banlance roundrobin 轮询，balance source 保存session值，支持static-rr，leastconn，first，uri等参数

    option  httpchk /index.html HTTP/1.0  #健康检查

    #检测文件，如果分发到后台index.html访问不到就不再分发给它

    server  web1 10.16.0.9: cookie  weight  check inter  rise  fall

    server  web2 10.16.0.10: cookie  weight  check inter  rise  fall

    #cookie 1表示serverid为1，check inter  是检测心跳频率

    #rise 2是2次正确认为服务器可用，fall 3是3次失败认为服务器不可用，weight代表权重

backend imgserver

    mode http

    option  httpchk /index.php

    balance     roundrobin

    server      img01 192.168.137.101:  check inter  fall

    server      img02 192.168.137.102:  check inter  fall  

########tcp配置#################

listen test1

        bind 0.0.0.0:

        mode tcp

    option  tcplog          #日志类别,采用tcplog

        maxconn

        #log 127.0.0.1 local0 debug

        server s1 10.18.138.201:  weight

        server s2 10.18.102.190:  weight

haproxy.cfg

4.安装Keepalived并配置(参数说明可参考：http://www.cnblogs.com/zhichaoma/p/7620443.html)

[root@keepalived ~]# yum -y install kernel-devel openssl-devel popt-devel

[root@keepalived ~]# tar zxvf keepalived-1.2..tar.gz -C /usr/src/

[root@keepalived ~]# cd /usr/src/keepalived-1.2./

[root@keepalived keepalived-1.2.]# ./configure --prefix=/ --with-kernel-dir=/usr/src/kernels/2.6.-.el6.x86_64/ && make && make install

主 修改为：

global_defs {

   router_id R1

}

vrrp_instance VI_1 {

    state MASTER

    interface eth0

    virtual_router_id

    priority

    advert_int

    authentication {

        auth_type PASS

        auth_pass

    }

    virtual_ipaddress {

        192.168.10.1

    }

}

备修改为：

global_defs {

   router_id R2

}

vrrp_instance VI_1 {

    state BACKUP

    interface eth0

    virtual_router_id

    priority

    advert_int

    authentication {

        auth_type PASS

        auth_pass

    }

    virtual_ipaddress {

        192.168.10.1

    }

}

[root@keepalived ~]# service keepalived start

[root@keepalived ~]# ip a

5.配置web节点服务器

安装Web服务，创建网站测试页面

[root@Web ~]# yum -y install httpd

[root@Web ~]# service httpd start

Web1的首页：

[root@Web ~]# echo "web site test 1" > /var/www/html/index.html

Web2的首页：

[root@Web ~]# echo "web site test 2" > /var/www/html/index.html

6.测试

使用客户机访问VIP(192.168.10.1)地址，是否有web页面轮询(因为两台web服务器使用的首页不同很容易可以看出效果)，断掉一台haproxy服务器，验证另一台服务器是否可以接管调度服务