本文共 15645 字，大约阅读时间需要 52 分钟。
keepalived的HA分为抢占模式和非抢占模式.
抢占模式即MASTER从故障中恢复后，会将VIP从BACKUP节点中抢占过来。
非抢占模式即MASTER恢复后不抢占BACKUP升级为MASTER后的VIP。
下面分别介绍CentOS7下抢占模式和非抢占模式的配置方式：
1、方案规划
VIP IP 主机名 Nginx端口
192.168.1.210 192.168.1.201 nginx-01 80
192.168.1.210 192.168.1.202 nginx-02 80
两台服务器的VIP为：192.168.1.210
分别在两台WEB服务器安装nginx和keepalived：
1> iptables
shell> vi /etc/sysconfig/iptables
-A INPUT -p vrrp -d 224.0.0.18/32 -j ACCEPT1212
2> firewall
firewall-cmd --direct --permanent --add-rule ipv4 filter INPUT 0 --in-interface enp4s0 --destination 224.0.0.18 --protocol vrrp -j ACCEPT
firewall-cmd --reload
4、关闭selinux
shell> vi /etc/sysconfig/selinux
#修改:
SELINUX=disabled
#setenforce 0
2、抢占模式配置
编辑/etc/keepalived/keepalived.conf配置文件
1> MASTER（192.168.1.201）：
global_defs {
router_id nginx_01 #标识本节点的名称，通常为hostname
}
## keepalived会定时执行脚本并对脚本执行的结果进行分析,动态调整vrrp_instance的优先级。
##如果脚本执行结果为0,并且weight配置的值大于0,则优先级相应的增加。如果脚本执行结果非0,
##并且weight配置的值小于 0,则优先级相应的减少。其他情况,维持原本配置的优先级,即配置文件中priority对应的值。
vrrp_script chk_nginx {
script "/etc/keepalived/nginx_check.sh"
interval 2 #每2秒检测一次nginx的运行状态
weight -20 #失败一次，将自己的优先级-20
}
vrrp_instance VI_1 {
state MASTER # 状态，主节点为MASTER，备份节点为BACKUP
interface eth0 # 绑定VIP的网络接口，通过ifconfig查看自己的网络接口
virtual_router_id 51 # 虚拟路由的ID号,两个节点设置必须一样,可选IP最后一段使用,相同的VRID为一个组,他将决定多播的MAC地址
mcast_src_ip 192.168.1.201 # 本机IP地址
priority 100 # 节点优先级，值范围0～254，MASTER要比BACKUP高
advert_int 1 # 组播信息发送时间间隔，两个节点必须设置一样，默认为1秒
# 设置验证信息，两个节点必须一致
authentication {
auth_type PASS
auth_pass 1111
}
# 虚拟IP，两个节点设置必须一样。可以设置多个，一行写一个
virtual_ipaddress {
192.168.1.210
}
track_script {
chk_nginx # nginx存活状态检测脚本
}
}
2> BACKUP（192.168.1.202）
global_defs {
router_id nginx_02
}
vrrp_script chk_nginx {
script "/etc/keepalived/nginx_check.sh"
interval 2
weight -20
}
vrrp_instance VI_1 {
state BACKUP
interface enp0s3
virtual_router_id 51
mcast_src_ip 192.168.1.202
priority 90
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.1.210
}
track_script {
chk_nginx
}
}
3> 创建nginx服务检测脚本
分别在主备服务器/etc/keepalived目录下创建nginx_check.sh脚本，并为其添加执行权限
chmod +x /etc/keepalived/nginx_check.sh。用于keepalived定时检测nginx的服务状态，
如果nginx停止了，会尝试重新启动nginx，如果启动失败，会将keepalived进程杀死，将vip漂移到备份机器上。
#!/bin/bash
A=`ps -C nginx --no-header | wc -l`
if [ $A -eq 0 ];then
/opt/nginx/sbin/nginx #尝试重新启动nginx
sleep 2 #睡眠2秒
if [ `ps -C nginx --no-header | wc -l` -eq 0 ];then
killall keepalived #启动失败，将keepalived服务杀死。将vip漂移到其它备份节点
fi
fi
4> 启动keepalived服务
shell> service keepalived start
shell> ps -ef | grep keepalived
[root@localhost ~]# ps -ef | grep keepalived
root 865 1 0 23:36 ? 00:00:00 keepalived -D
root 869 865 0 23:36 ? 00:00:00 keepalived -D
root 870 865 0 23:36 ? 00:00:00 keepalived -D
如果看到如上进程信息，表示keepalived已经启动成功。下面用ip add命令查看vip绑定的情况，如下图所示：
从上图可以看出，vip已经成功从201漂移到了202。此时再将201的keepalived服务启动后，由于201是MASTER，所以会将202的VIP抢占过来。
启动201的keepalived服务：
shell> service keepalived start
结果VIP又回到了201，如下图所示：
3、非抢占模式
master从故障中恢复后，不会抢占备份节点的vip
1> MASTER（192.168.1.201）：
global_defs {
router_id nginx_01 #标识本节点的名称，通常为hostname
}
vrrp_script chk_nginx {
script "/etc/keepalived/nginx_check.sh"
interval 2
weight -20
}
vrrp_instance VI_1 {
state BACKUP
interface enp0s3
virtual_router_id 51
mcast_src_ip 192.168.1.201
priority 100
advert_int 1
nopreempt
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.1.210
}
track_script {
chk_nginx # nginx存活状态检测脚本
}
}
2> BACKUP（192.168.1.202）
global_defs {
router_id nginx_02
}
vrrp_script chk_nginx {
script "/etc/keepalived/nginx_check.sh"
interval 2
weight -20
}
vrrp_instance VI_1 {
state BACKUP
interface enp0s3
virtual_router_id 51
mcast_src_ip 192.168.1.202
priority 90
advert_int 1
nopreempt
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.1.210
}
track_script {
chk_nginx
}
}
和非抢占模式的配置相比，只改了两个地方：
1> 在vrrp_instance块下两个节点各增加了nopreempt指令，表示不争抢vip
2> 节点的state都为BACKUP
两个keepalived节点都启动后，默认都是BACKUP状态，双方在发送组播信息后，会根据优先级来选举一个MASTER出来。由于两者都配置了nopreempt，所以MASTER从故障中恢复后，不会抢占vip。这样会避免VIP切换可能造成的服务延迟。
【环境】
master系统配置:
[root@master html]# ifconfig |grep -A 1 eth0
eth0 Link encap:Ethernet HWaddr 00:0C:29:65:14:0F
inet addr:192.168.100.10 Bcast:192.168.100.255 Mask:255.255.255.0
[root@master html]# hostname
master
[root@master html]# cat /etc/issue | head -1
entOS release 6.4 (Final)
master nginx提前web环境:
[root@master html]# curl 192.168.100.10
<!DOCTYPE html>
<html>
<h1>192.168.100.10 -- lnmp master -- bbs.test.com</h1>
</html>
slave系统配置:
[root@master ~]# ifconfig |grep -A 2 eth0
eth0 Link encap:Ethernet HWaddr 00:0C:29:65:14:0F
inet addr:192.168.100.10 Bcast:192.168.100.255 Mask:255.255.255.0
inet6 addr: fe80::20c:29ff:fe65:140f/64 Scope:Link
[root@master ~]# hostname
master
[root@master ~]# head -1 /etc/issue
entOS release 6.4 (Final)
slave nginx配置:
[root@slave ~]# curl 192.168.100.13
<!DOCTYPE html>
<html>
<h1>192.168.100.13 -- lnmp slave -- bbs.test.com</h1>
</html>
【安装keepalive】
yum install keepalived
keepalived-1.2.13-5.el6_6.x86_64
版本号:
[root@master html]# keepalived -v
Keepalived v1.2.13 (03/19,2015)
安装的重要文件:
/etc/keepalived #配置文件目录
/etc/keepalived/keepalived.conf #配置文件
/etc/rc.d/init.d/keepalived #启动文件
/etc/sysconfig/keepalived #keepalived的系统初识化文件
/usr/bin/genhash #不知道 hash相关的吧
/usr/sbin/keepalived #keepalived的可执行文件
【配置文件的编写】
去除默认的配置文件
> /etc/keepalived/keepalived.conf
master配置配置文件
! Configuration File for keepalived
#core的定义
global_defs {
notification_email {
735896273@qq.com
}
notification_email_from andy@126.com
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id LVS_DEVEL
}
#定义检查脚本
vrrp_script check_http {
script "/root/check_nginx.sh" # verify the pid existance
interval 2 # check every 2 seconds
weight 2 # add 2 points of prio if OK 如果检测监本是成功的则优先级加2
}
#配置实例
vrrp_instance VI_1 {
state MASTER #主机为MASTER，备用机为BACKUP
interface eth0 #interface to monitor #HA监测网络接口
virtual_router_id 51 # 主、备机的virtual_router_id必须相同
priority 101 # 101 on master,100 on backup
nopreempt #非抢占(因为默认如果master挂了，backup顶上去，即使master恢复也不抢占！
debug
authentication {
auth_type PASS ##VRRP认证方式
auth_pass mynginx #密码为mynginx
}
#VIP地址
virtual_ipaddress {
192.168.100.12
}
track_script {
check_http (调用nginx进程检测脚本)
}
}
###############check_http的脚本
[root@master html]# cat /root/check_nginx.sh
#!/bin/bash
A=`ps -C nginx --no-header | wc -l`
if [ $A -eq 0 ];then
/etc/init.d/nginx start
sleep 3
if [ `ps -C nginx --no-header | wc -l` -eq 0 ];then
killall keepalived
fi
fi
当检测到nginx进程不存在的时候，就干掉所有的keepalived，这时候，请求将会由keepalived的backup接管！！
注意: 脚本一定要有执行权限
chmod +x /root/check_nginx.sh
slave配置配置文件：
......
......
state BACKUP #主机为MASTER，备用机为BACKUP
...
priority 100
【启动】
master和slave 的keepalive和nginx都启动
/etc/init.d/keepalived start
/etc/init.d/nignx start
此时可以看到vip在master机器行，因为优先级高
[root@master html]# ip addr show eth0
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 00:0c:29:65:14:0f brd ff:ff:ff:ff:ff:ff
inet 192.168.100.10/24 brd 192.168.100.255 scope global eth0
inet 192.168.100.12/32 scope global eth0
inet6 fe80::20c:29ff:fe65:140f/64 scope link
valid_lft forever preferred_lft forever
【会导致切换的情况】
1 master挂了(机器挂了或者keepalive进程没了)，终归到底keepalive进程没了，此时会vrrp检查对端没包，此时backup接管VIP。
2 check_nginx.sh检查脚本，当检测到nginx进程挂了，且起不来的时候，就把keepalived全部杀掉。
这样当然，就切换到了backup咯。
【疑问】
1 抓包如何抓到vrrp包？
tcpdump -vvn |grep -i vrrp
可以看到优先级的详细信息。
或者通过指定vrr协议抓取
tcpdump -vnn vrrp
2 keepalive的日志如何弄？
tail -f /var/log/messages
3 非强制nopreempt好像不起作用。先关掉master的keepalivd再启动master 的keepalived和nginx,master依然会把VIP抢占古来
据说是非强占，只能在backup中起作用，即要将初识状态都设置成为backup，但是实验未成功。 这里不细细研究。
4 weight像没啥用？
在这个地方，确实没用。但是weight的只要脚本执行返回值为0(即echo $?为0就表示脚本执行成功)，所以以上的哪个实验，master的pri优先级为101+2=103，backup的pri优先级为100+2=102。
其实上面切换的主要关键，是用到关闭keepalived。进行切换。
messgages可以看到的信息。
VRRP_Script(check_http) succeeded
5 检查时间
advert_int 1 #检查间隔，默认1秒
6 track_script其实就是用来检测nginx的。
简单VRRP的原理:
看vrrp包信息:
21:47:12.591586 IP (tos 0xc0, ttl 255, id 431, offset 0, flags [none], proto VRRP (112), length 40)
192.168.100.10 > 224.0.0.18: VRRPv2, Advertisement, vrid 51, prio 103, authtype simple, intvl 1s, length 20, addrs: 192.168.100.12 auth "mynginx^@"
是master通过组播地址224.0.0.18通告自己的route id和优先级。收到包的节点，并且认证通过的，比较自己和收到的优先级，进行选举新的mater。
环境采集cenots 6.3 64位迷你安装，因为安装前，你需要做一些工作
yum install -y make wget
1.安装keepalive
官方最新版 keepalived-1.2.7
tar zxvf keepalived-1.2.7.tar.gz
cd keepalived-1.2.7
yum install -y gcc openssl-devel popt-devel
./configure
make && make install
cp /usr/local/etc/rc.d/init.d/keepalived /etc/init.d/
cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig/
chmod +x /etc/init.d/keepalived
chkconfig --add keepalived
chkconfig keepalived on
mkdir /etc/keepalived
ln -s /usr/local/sbin/keepalived /usr/sbin/
2.安装Nginx
tar zxvf nginx-1.2.5.tar.gz
cd nginx-1.2.5
安装一下相关组件.
yum install -y pcre-devel
./configure --prefix=/usr/local/nginx --user=www --group=www --with
-http_stub_status_module --with-http_ssl_module
make && make install
3.配置keepalive
两台服务器端keepalived.conf内容都为如下，都设置为backup，不抢占，注意
修改优先级不同,更详细的keepalived配置文件说明可以执行man
keepalived.conf查看：
! Configuration File for keepalived
global_defs {
notification_email {
admin@lvtao.net
}
notification_email_from admin@lvtao.net
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id LVS_DEVEL
}
#监控服务.NGINX mysql等
vrrp_script chk_nginx {
script "/home/check_nginx.sh"
interval 2
weight 2
}
vrrp_instance VI_1 {
state BACKUP #主从设置 MASTER
interface eth2 #网卡名
virtual_router_id 51
mcast_src_ip 10.0.1.133 #本机IP
priority 50 #从机小于主机
advert_int 1
authentication {
auth_type PASS
auth_pass chtopnet
}
virtual_ipaddress {
10.0.1.2 #VIP 的IP
}
track_script {
chk_nginx #检测脚本
}
}
virtual_server 10.0.1.2 80 {
delay_loop 6
lb_algo rr
lb_kind DR
persistence_timeout 50
protocol TCP
real_server 10.0.1.132 80 {
weight 3
TCP_CHECK {
connect_timeout 10
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
real_server 10.0.1.133 80 {
weight 3
TCP_CHECK {
connect_timeout 10
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
}
上面代码中 nginx的检测脚本如下 ：
#!/bin/bash
if [ "$(ps -ef | grep "nginx: master process"| grep -v grep )" == ""
]
then
/usr/local/nginx/sbin/nginx
sleep 5
if [ "$(ps -ef | grep "nginx: master process"| grep -v grep )" == ""
]
then
killall keepalived
fi
fi
在两台Web Server上执行realserver.sh脚本，为lo:0绑定VIP地址10.0.1.2、
抑制ARP广播。
#!/bin/bash
#description: Config realserver
VIP=10.0.1.2
/etc/rc.d/init.d/functions
case "$1" in
start)
/sbin/ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast
$VIP
/sbin/route add -host $VIP dev lo:0
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
sysctl -p >/dev/null 2>&1
echo "RealServer Start OK"
;;
stop)
/sbin/ifconfig lo:0 down
/sbin/route del $VIP >/dev/null 2>&1
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
echo "RealServer Stoped"
;;
*)
echo "Usage: $0 {start|stop}"
exit 1
esac
exit 0
分别在主从机上执行 sh realserver.sh start 就可实现负载均衡及高可用集群了；
keepalive相关参数说明
! Configuration File for keepalived
global_defs {
notification_email {
admin@lvtao.net #设置报警邮件地址，可以设置多个，每行一个。 需开启本机的sendmail服务
}
notification_email_from admin@lvtao.net #设置邮件的发送地
址
smtp_server 127.0.0.1 #设置smtp
server地址
smtp_connect_timeout 30 #设置连接smtp
server的超时时间
router_id LVS_DEVEL #表示运行keepalived服务器的一个标识。发邮件时显示在邮件主题的信息
}
vrrp_instance VI_1 {
state MASTER #指定keepalived的角色，MASTER表示此主机是主服务器，BACKUP表示此主机是备用服务器
interface eth0 #指定HA监测网络的接口
virtual_router_id 51 #虚拟路由标识，这个标识是一个数字，同一
个vrrp实例使用唯一的标识。即同一vrrp_instance下，MASTER和BACKUP必须是一致的
priority 100 #定义优先级，数字越大，优先级越高，在同一个vrrp_instance下，MASTER的优先级必须大于BACKUP的优先级
advert_int 1 #设定MASTER与BACKUP负载均衡器之间同步检查的时间间隔，单位是秒
authentication { #设置验证类型和密码
auth_type PASS #设置验证类型，主要有PASS和AH两种
auth_pass 1111 #设置验证密码，在同一个vrrp_instance下
，MASTER与BACKUP必须使用相同的密码才能正常通信
}
virtual_ipaddress { #设置虚拟IP地址，可以设置多个虚拟IP地址
，每行一个
10.0.0.148
}
}
virtual_server 10.0.0.148 80 { #设置虚拟服务器，需要指定虚拟IP地址和服务端口，IP与端口之间用空格隔开
delay_loop 6 #设置运行情况检查时间，单位是秒
lb_algo rr #设置负载调度算法，这里设置为rr，
即轮询算法
lb_kind DR #设置LVS实现负载均衡的机制，有NAT
、TUN、DR三个模式可选
persistence_timeout 50 #会话保持时间，单位是秒。这个选项对动态网页是非常有用的，为集群系统中的session共享提供了一个很好的解决
方案。
#有了这个会话保持功能，用户的请求
会被一直分发到某个服务节点，直到超过这个会话的保持时间。
#需要注意的是，这个会话保持时间是
最大无响应超时时间，也就是说，用户在操作动态页面时，如果50秒内没有执
行任何操作，
#那么接下来的操作会被分发到另外的
节点，但是如果用户一直在操作动态页面，则不受50秒的时间限制
protocol TCP #指定转发协议类型，有TCP和UDP两种
real_server 10.0.0.137 80 { #配置服务节点1，需要指定realserver的真实IP地址和端口，IP与端口之间用空格隔开
weight 3 #配置服务节点的权值，权值大小用数字表示，数字越大，权值越高，设置权值大小可以为不同性能的服务器
#分配不同的负载，可以为性能高的服务器设置较高的权值，而为性能较低的服务器设置相对较低的权值，这样才能合理地利用和分配系统资源
TCP_CHECK { #realserver的状态检测设置部分，单
位是秒
connect_timeout 10 #表示3秒无响应超时
nb_get_retry 3 #表示重试次数
delay_before_retry 3 #表示重试间隔
connect_port 80
}
}
real_server 10.0.0.139 80 {
weight 3
TCP_CHECK {
connect_timeout 10
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
}
keepalive+nginx搭建主从负载服务器
keepalive配置文件 从：
! Configuration File for keepalived
global_defs {
notification_email {
xuezm@yaoshi.com
}
notification_email_from xuezm@yaoshi.com
smtp_server mail.yaoshi.com
smtp_connect_timeout 30
router_id LVS_DEVEL
}
vrrp_instance VI_1 {
state MASTER
interface eth0
virtual_router_id 51
mcast_src_ip 192.168.11.39
priority 80
advert_int 1
authentication {
auth_type PASS
auth_pass chtopnet
}
virtual_ipaddress {
192.168.11.208
}
}
keepalive 主：
!Configuration File for keepalived
global_defs {
notification_email {
xuezm@yaoshi.com
}
notification_email_from xuezm@yaoshi.com
smtp_server mail.yaoshi.com
smtp_connect_timeout 30
router_id LVS_DEVEL
}
vrrp_instance VI_1 {
state MASTER
interface eth0
virtual_router_id 51
mcast_src_ip 192.168.11.27
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass chtopnet
}
virtual_ipaddress {
192.168.11.208
}
}
nginx配置 ：
user nobody nobody;
worker_processes 1;
#error_log logs/error.log;
#error_log logs/error.log notice;
error_log logs/error.log debug;
pid logs/nginx.pid;
events {
use epoll;
worker_connections 1024;
}
http {
include mime.types;
default_type application/octet-stream;
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
access_log logs/access.log main;
sendfile on;
#tcp_nopush on;
#keepalive_timeout 0;
keepalive_timeout 65;
gzip on;
gzip_min_length 1k;
gzip_buffers 6 16k;
gzip_http_version 1.1;
gzip_comp_level 2;
gzip_types text/plain application/x-javascript text/css application/xml;
gzip_vary on;
# location / {
# root html;
# index index.html index.htm;
# }
error_page 404 /404.html;
upstream www.test.com {
server 192.168.11.37:80;
server 192.168.11.38:80;
}
server
{
listen 80;
server_name www.test.com 192.168.11.208;
index index.htm index.html;
#root /web/wwwroot;
location / {
proxy_pass http://www.test.com;
proxy_next_upstream http_500 http_502 http_503 error timeout invalid_header;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
include proxy.conf;
}
log_format blog_test_com '$remote_addr - $remote_user [$time_local] $request '
'"$status" $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
access_log logs/blog_test_com;
}
}
proxy.conf 配置
[root@localhost conf]# cat proxy.conf
proxy_redirect off;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
client_body_buffer_size 128k;
proxy_connect_timeout 90;
proxy_send_timeout 90;
proxy_read_timeout 90;
proxy_buffer_size 4k;
proxy_buffers 6 32k;
proxy_busy_buffers_size 64k;
proxy_temp_file_write_size 64k;