在Keepalived + Nginx高可靠负载均衡架构中，keepalived负责实现High-availability (HA) 功能控制前端机VIP(虚拟网络地址)，当有设备发生故障时，热备服务器可以瞬间将VIP自动切换过来，实际运行中体验只有2秒钟切换时间，DNS服务可 以负责前端VIP的负载均衡。
二．简单原理
NGINX_MASTER、NGINX_BACKUP两台服务器均通过keepalived软件把eth0网卡绑上一个虚拟IP（VIP）地址 192.168.0.56，此VIP当前由谁承载着服务就绑定在谁的eth0上，当NGINX_MASTER发生故障时，NGINX_BACKUP会通过 /etc/keepalived/keepalived.conf文件中设置的心跳时间advert_int 1检查，无法获取NGINX_MASTER正常状态的话，NGINX_BACKUP会瞬间绑定VIP来接替nginx_master的工作，当 NGINX_MASTER恢复后keepalived会通过priority参数判断优先权将虚拟VIP地址192.168.0.56重新绑定给 NGINX_MASTER的eth0网卡。
使用此方案的优越性
1.实现了可弹性化的架构，在压力增大的时候可以临时添加web服务器添加到这个架构里面去;
2.upstream具有负载均衡能力，可以自动判断后端的机器，并且自动踢出不能正常提供服务的机器；
3.相对于lvs而言，正则分发和重定向更为灵活。而Keepalvied可保证单个nginx负载均衡器的有效性，避免单点故障；
4.用nginx做负载均衡，无需对后端的机器做任何改动。
三．系统环境
两台负载机器安装：centos5.8 +nginx+keepalived，分别命名为: NGINX_MASTER，NGINX_BACKUP。
两台WEB集群机器安装：windows server 2008 R2+IIS7，分别命名为: WEB_1，WEB_2。
NGINX_MASTER：
ip：192.168.0.69（主服务器）
子网掩码：255.255.255.0
默认网关：192.168.0.1
vip：192.168.0.56
LVS_DR_BACKUP：
ip：192.168.0.47（备服务器）
子网掩码：255.255.255.0
默认网关：192.168.0.1
vip：192.168.0.56
WEB_1：
ip：192.168.0.109
子网掩码：255.255.255.0
默认网关：192.168.0.1
WEB_2：
ip：192.168.0.115
子网掩码：255.255.255.0
默认网关：192.168.0.1
四、Nginx的安装配置
分别在NGINX_MASTER、NGINX_BACKUP两台服务器安装nginx
1、关闭SELinux
查看SELinux的状态
getenforce
如果是开启状态，则
vi /etc/selinux/config
#SELINUX=enforcing #注释掉
#SELINUXTYPE=targeted #注释掉
SELINUX=disabled #增加
重启系统
reboot
2、开启防火墙80端口
vi /etc/sysconfig/iptables
添加一条规则
-A RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 80 -j ACCEPT
3、安装编译工具
yum update
yum install wget make gcc gcc-c++ zlib-devel openssl openssl-devel pcre-devel gd kernelkeyutils patch perl mhash(哈稀函数库)
4 、系统约定
软件源代码包存放位置：/usr/local/src
源码包编译安装位置：/usr/local/软件名字
默认系统就会加载/dev/shm ，它就是所谓的tmpfs，有人说跟ramdisk（虚拟磁盘），但不一样。象虚拟磁盘一样，tmpfs 可以使用您的 RAM，但它也可以使用您的交换分区来存储。而且传统的虚拟磁盘是个块设备，并需要一个 mkfs 之类的命令才能真正地使用它，tmpfs 是一个文件系统，而不是块设备；您只是安装它，它就可以使用了。
tmpfs有以下优势：
1）动态文件系统的大小，
2）tmpfs 的另一个主要的好处是它闪电般的速度。因为典型的 tmpfs 文件系统会完全驻留在 RAM 中，读写几乎可以是瞬间的。
3）tmpfs 数据在重新启动之后不会保留，因为虚拟内存本质上就是易失的。所以有必要做一些脚本做诸如加载，绑定的操作。
首先在/dev/shm建个tmp文件夹，然后与实际/tmp绑定
mkdir /dev/shm/tmp
chmod 777 /dev/shm/tmp
mount --bind /dev/shm/tmp /tmp
5、下载软件
cd /usr/local/src #进入目录
（1）、下载nginx
wget http://nginx.org/download/nginx-1.3.0.tar.gz
（2）、下载pcre （支持nginx伪静态）
wget ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.30.tar.gz
（3）、下载ngx_cache_purge（清除指定URL缓存）
wget http://labs.frickle.com/files/ngx_cache_purge-1.5.tar.gz
（4）、下载keepalived
wget http://www.keepalived.org/software/keepalived-1.2.2.tar.gz
6、安装pcre
tar zxvf pcre-8.21.tar.gz
cd pcre-8.21
./configure
make
make install
7、安装nginx
groupadd www #添加www组
useradd -g www www -s /bin/false #创建nginx运行账户www并加入到www组，不允许www用户直接登录系统
cd /usr/local/src
tar zxvf ngx_cache_purge-1.5.tar.gz
tar zxvf nginx-1.3.0.tar.gz
cd nginx-1.3.0
./configure --prefix=/usr/local/nginx --user=www --group=www --with-http_stub_status_module --with-openssl=/usr/include/openssl --with-pcre=/usr/local/src/pcre-8.30 --add-module=/usr/local/src/ngx_cache_purge-1.5 --with-http_gzip_static_module
# 注意:--with-pcre指向的是源码包解压的路径，而不是安装的路径，否则编译会报错
make
make install
/usr/local/nginx/sbin/nginx #启动nginx
chown www.www -R /usr/local/nginx/html #设置目录所有者
vi /etc/rc.d/init.d/nginx # 设置nginx开启启动，编辑启动文件添加下面内容
#!/bin/bash
#nginxStartupscriptfortheNginxHTTPServer
#itisv.1.3.0version.
#chkconfig:-8515
#description:Nginxisahigh-performancewebandproxyserver.
#Ithasalotoffeatures,butit'snotforeveryone.
#processname:nginx
#pidfile:/var/run/nginx.pid
#config:/usr/local/nginx/conf/nginx.conf
nginxd=/usr/local/nginx/sbin/nginx
nginx_config=/usr/local/nginx/conf/nginx.conf
nginx_pid=/usr/local/nginx/logs/nginx.pid
RETVAL=0
prog="nginx"
#Sourcefunctionlibrary.
./etc/rc.d/init.d/functions
#Sourcenetworkingconfiguration.
./etc/sysconfig/network
#Checkthatnetworkingisup.
[${NETWORKING}="no"]&&exit0
[-x$nginxd]||exit0
#Startnginxdaemonsfunctions.
start(){
if[-e$nginx_pid];then
echo"nginxalreadyrunning...."
exit1
fi
echo-n$"Starting$prog:"
daemon$nginxd-c${nginx_config}
RETVAL=$?
echo
[$RETVAL=0]&&touch/var/lock/subsys/nginx
return$RETVAL
}
#Stopnginxdaemonsfunctions.
stop(){
echo-n$"Stopping$prog:"
killproc$nginxd
RETVAL=$?
echo
[$RETVAL=0]&&rm-f/var/lock/subsys/nginx/usr/local/nginx/logs/nginx.pid
}
reload(){
echo-n$"Reloading$prog:"
#kill-HUP`cat${nginx_pid}`
killproc$nginxd-HUP
RETVAL=$?
echo
}
#Seehowwewerecalled.
case"$1"in
start)
start
;;
stop)
stop
;;
reload)
reload
;;
restart)
stop
start
;;
status)
status$prog
RETVAL=$?
;;
*)
echo$"Usage:$prog{start|stop|restart|reload|status|help}"
exit1
esac
exit$RETVAL
chmod +x /etc/rc.d/init.d/nginx # 赋予执行权限
chkconfig nginx on #设置开机启动
service nginx stop #关闭nginx
8、配置nginx
将nginx初始配置文件备份，我们要重新创建配置文件
mv /usr/local/nginx/conf/nginx.conf /usr/local/nginx/conf/nginx.conf.bak
vi /usr/local/nginx/conf/nginx.conf
userwwwwww;
worker_processes4;#工作进程数,为CPU的核心数或者两倍
error_loglogs/error.logcrit;#debug|info|notice|warn|error|crit
pidlogs/nginx.pid;
events{
useepoll;#Linux最常用支持大并发的事件触发机制
worker_connections65535;
}
http{
includemime.types;#设定mime类型,类型由mime.type文件定义
default_typeapplication/octet-stream;
log_formatmain'$remote_addr-$remote_user[$time_local]"$request"'
'$status$body_bytes_sent"$http_referer"'
'"$http_user_agent""$http_x_forwarded_for"';
access_loglogs/access.logmain;
#设定请求缓冲
server_names_hash_bucket_size256;#增加,原为128
client_header_buffer_size256k;#增加,原为32k
large_client_header_buffers4256k;#增加，原为32k
#sizelimits
client_max_body_size50m;#允许客户端请求的最大的单个文件字节数
client_header_timeout3m;
client_body_timeout3m;
send_timeout3m;
sendfileon;
tcp_nopushon;
keepalive_timeout120;
tcp_nodelayon;
server_tokensoff;#不显示nginx版本信息
limit_conn_zone$binary_remote_addrzone=perip:10m;#添加limit_zone,限制同一IP并发数
#fastcgi_intercept_errorson;#开启错误页面跳转
includegzip.conf;#压缩配置文件
includeproxy.conf;#proxy_cache参数配置文件
includevhost/*.conf;#nginx虚拟主机包含文件目录
includemysvrhost.conf;#后端WEB服务器列表文件
}
cd /usr/local/nginx/conf/
mkdir vhost
vi proxy.conf
proxy_temp_path/tmp/proxy_temp;
proxy_cache_path/tmp/proxy_cachelevels=1:2keys_zone=cache_one:500minactive=1dmax_size=3g;
client_body_buffer_size512k;#原为512k
proxy_connect_timeout50;#代理连接超时
proxy_read_timeout600;#代理发送超时
proxy_send_timeout600;#代理接收超时
proxy_buffer_size128k;#代理缓冲大小，原为32k
proxy_buffers16256k;#代理缓冲，原为464k
proxy_busy_buffers_size512k;#高负荷下缓冲大小，原为128k
proxy_temp_file_write_size1024m;#proxy缓存临时文件的大小原为128k
#proxy_ignore_client_aborton;#不允许代理端主动关闭连接
proxy_next_upstreamerrortimeoutinvalid_headerhttp_500http_503http_404http_502http_504;
vi mysvrhost.conf
upstreamcn100{
ip_hash;#会话保持
server192.168.0.115max_fails=1fail_timeout=60s;
server192.168.0.109max_fails=1fail_timeout=60s;
}
vi gzip.conf
#网页GZIP压缩设置
#2012.4.2
#可通过http://tool.chinaz.com/Gzips/检测压缩情况
#
#启动预压缩功能，对所有类型的文件都有效
gzip_staticon;#开启nginx_static后，对于任何文件都会先查找是否有对应的gz文件
#找不到预压缩文件，进行动态压缩
gzipon;
gzip_min_length1k;#设置最小的压缩值,单位为bytes.超过设置的min_length的值会进行压缩,小于的不压缩.
gzip_comp_level3;#压缩等级设置,1-9,1是最小压缩,速度也是最快的;9刚好相反,最大的压缩,速度是最慢的,消耗的CPU资源也多
gzip_buffers1664k;#设置系统的缓存大小,以存储GZIP压缩结果的数据流,它可以避免nginx频烦向系统申请压缩空间大小
gzip_typestext/plainapplication/x-javascripttext/csstext/javascript;
#关于gzip_types，如果你想让图片也开启gzip压缩，那么用以下这段吧：
#gzip_typestext/plainapplication/x-javascripttext/csstext/javascriptapplication/x-httpd-phpimage/jpegimage/gifimage/png;
#gzip公共配置
gzip_http_version1.1;#识别http的协议版本(1.0/1.1)
gzip_proxiedany;#设置使用代理时是否进行压缩，默认是off的
gzip_varyon;#和http头有关系,加个vary头,代理判断是否需要压缩
gzip_disable"MSIE[1-6].";#禁用IE6的gzip压缩
vi vhost/cn100.conf
server{
listen80;
server_namelocalhost;
#charsetGB2312;
location/
{
proxy_redirectoff;
proxy_set_headerHost$host;
proxy_set_headerX-Real-IP$remote_addr;
proxy_set_headerX-Forwarded-For$proxy_add_x_forwarded_for;
proxy_passhttp://cn100;
}
#查看nginx的并发连接数配置
location/NginxStatus
{
stub_statuson;
access_logoff;
auth_basic"NginxStatus";
}
#access_logoff; #根据自己的需要选择是否启用access日志，注释掉代表启用
error_page404/404.html;
error_page500502503504/404.html;
location=/404.html{
roothtml;
}
limit_connperip50;#同一ip并发数为50,超过会返回503
}
9、设置proxy_cache参数配置
cd /tmp #进入目录
mkdir -p /tmp/proxy_temp #proxy_temp_dir与proxy_cache_dir这两个文件夹必须在同一个分区
mkdir -p /tmp/proxy_cache #proxy_cache_dir与proxy_temp_dir这两个文件夹必须在同一个分区
chown www.www -R /tmp/proxy_temp /tmp/proxy_cache #设置目录所有者
chmod -R 777 /tmp/proxy_temp /tmp/proxy_cache #设置目录权限
附1：Nginx优化设置基本的TCP配置
vi /etc/sysctl.conf
优化内核参数
net.ipv4.ip_forward=0
net.ipv4.conf.default.rp_filter=1
net.ipv4.conf.default.accept_source_route=0
kernel.sysrq=0
kernel.core_uses_pid=1
net.ipv4.tcp_syncookies=1
kernel.msgmnb=65536
kernel.msgmax=65536
kernel.shmmax=68719476736
kernel.shmall=4294967296
net.ipv4.tcp_max_tw_buckets=6000
net.ipv4.tcp_sack=1
net.ipv4.tcp_window_scaling=1
net.ipv4.tcp_rmem=4096873804194304
net.ipv4.tcp_wmem=4096163844194304
net.core.wmem_default=8388608
net.core.rmem_default=8388608
net.core.rmem_max=16777216
net.core.wmem_max=16777216
net.core.netdev_max_backlog=262144
net.core.somaxconn=262144
net.ipv4.tcp_max_orphans=3276800
net.ipv4.tcp_max_syn_backlog=262144
net.ipv4.tcp_timestamps=0
net.ipv4.tcp_synack_retries=1
net.ipv4.tcp_syn_retries=1
net.ipv4.tcp_tw_recycle=1
net.ipv4.tcp_tw_reuse=1
net.ipv4.tcp_mem=94500000915000000927000000
net.ipv4.tcp_fin_timeout=1
net.ipv4.tcp_keepalive_time=30
net.ipv4.ip_local_port_range=102465000允许系统打开的端口范围
使配置立即生效：
/sbin/sysctl -p
附2：编写每天定时切割Nginx日志的脚本
1、创建脚本/usr/local/nginx/cut_nginx_log.sh
vi /usr/local/nginx/cut_nginx_log.sh
#/bin/bash
savepath_log='/usr/local/nginx/logs'
nglogs='/usr/local/nginx/logs'
mkdir-p$savepath_log/$(date+%Y)/$(date+%m)
mv$nglogs/access.log$savepath_log/$(date+%Y)/$(date+%m)/access.$(date+%Y%m%d).log
mv$nglogs/error.log$savepath_log/$(date+%Y)/$(date+%m)/error.$(date+%Y%m%d).log
kill-USR1`cat/usr/local/nginx/logs/nginx.pid`
chmod +x /usr/local/nginx/cut_nginx_log.sh
2、设置crontab，每天凌晨00:00切割nginx访问日志
crontab –e
输入以下内容：
00 00 * * * /bin/bash /usr/local/nginx/cut_nginx_log.sh
附3：关闭系统无关的服务
接下来关掉一些不必要的系统服务
chkconfig bluetooth off
chkconfig firstboot off
chkconfig cups off
chkconfig ip6tables off
chkconfig isdn off
chkconfig kudzu off
chkconfig sendmail off
chkconfig smartd off
chkconfig autofs off
附4：关于服务器间的时间同步
在时间同步服务器上安装ntp
yum install ntp
设置同步
crontab –e
在最后添加
1 5 * * * /usr/sbin/ntpdate time.nist.gov >> /var/log/upClock.log
附5. 查看nginx的并发连接数
在浏览器中打开http:///NginxStatus
以上解析：
Active connections：当前 Nginx 正处理的活动连接数。
server accepts handled requests :总共处理了3个连接 , 成功创建 3 次握手,总共处理了6个请求。
Reading：nginx 读取到客户端的 Header 信息数。
Writing：nginx 返回给客户端的 Header 信息数。
Waiting ：开启 keep-alive 的情况下， Nginx 已经处理完正在等候下一个请求指令的停留连接。
附6. 开启nginx缓存功能（2012年5月30日新增）
proxy.conf文件前面已经配置过了，这里无需再配置，直接配置cn100.conf文件即可。
vi/usr/local/nginx/conf/vhost/cn100.conf
server{
listen80;
server_namelocalhost;
#charsetGB2312;
location/
{
proxy_passhttp://cn100;
proxy_redirectoff;
proxy_set_headerHost$host;
proxy_set_headerX-Real-IP$remote_addr;
proxy_set_headerX-Forwarded-For$proxy_add_x_forwarded_for;
proxy_cachecache_one;
proxy_cache_valid2003023041h;#200、302、304错误状态码保存1小时
proxy_cache_valid3011d;#301错误状态码保存1天
proxy_cache_validany1m;#其余的保存1分钟
#以域名、URI、参数组合成Web缓存的Key值，存储缓存内容到二级缓存目录内
proxy_cache_key$host$uri$is_args$args;
expires30d;#设置失效时间为30天
}
#设置手动清除URL缓存
location~/purge(/.*)
{
#设置只允许指定的IP或IP段才可以清除URL缓存
allow127.0.0.1;
allow192.168.0.0/16;
deny all;
proxy_cache_purgecache_one$host$1$is_args$args;
}
location/NginxStatus
{
stub_statuson;
access_logoff;
auth_basic"NginxStatus";
allow192.168.0.0/16;
denyall;
}
access_logoff;
error_page404/404.html;
error_page500502503504/404.html;
location=/404.html{
roothtml;
}
limit_connctohome_zone50;#同一ip并发数为50,超过会返回503
}
以上配置文件红色部分为新增内容。通过浏览器访问一下网站，进入到/tmp/proxy_cache目录下，查看是否生成缓存文件。
清除URL缓存方法：
假设你的URL为：http://192.168.0.56/images/apa.jpg，浏览器输入：http://192.168.0.56/purge/images/apa.jpg，就可以清除该URL的缓存。
五、安装配置keepalived
1.安装keepalived（HA）：
$ tar zxvf keepalived-1.2.2.tar.gz
$ cd keepalived-1.2.2
$ ./configure
Keepalived configuration
------------------------
Keepalived version : 1.2.2
Compiler : gcc
Compiler flags : -g -O2 -DETHERTYPE_IPV6=0x86dd
Extra Lib : -lpopt -lssl -lcrypto
Use IPVS Framework : No
IPVS sync daemon support : No
Use VRRP Framework : Yes
Use Debug flags : No
注：若IPVS处为No，不用担心，是没有装ipvsadm的原因，我们是用nginx做负载，所以这里只需要用到VRRP。
make
make install
2.将keepalived 以服务方式启动
cp /usr/local/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/
cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig
mkdir /etc/keepalived
cp /usr/local/etc/keepalived/keepalived.conf /etc/keepalived/
cp /usr/local/sbin/keepalived /usr/sbin
chkconfig keepalived on
3.修改keepalived配置文件
vi /etc/keepalived/keepalived.conf
!ConfigurationFileforkeepalived
global_defs{
notification_email{
[email protected]
}
notification_email_from[email protected]
smtp_servermail.cn100.com
#smtp_connect_timeout30
router_idLVS_DEVEL
}
vrrp_scriptchk_http_port{
script"/etc/keepalived/nginx_pid.sh"#检查nginx状态的脚本
interval2
weight3
}
vrrp_instanceVI_1{
stateMASTER
interfaceeth0
virtual_router_id51
priority100
advert_int1
authentication{
auth_typePASS
auth_pass1111
}
virtual_ipaddress{
192.168.0.56
#192.168.200.17
#192.168.200.18
}
track_script{
chk_http_port
}
}
4.添加检查nginx状态的脚本，当nginx停止时，会自动将nginx启动
vi /etc/keepalived/nginx_pid.sh
#!/bin/bash
#version0.0.1
#
A=`ps-Cnginx--no-header|wc-l`
if[$A-eq0];then
#/usr/sbin/nginx
servicenginxstart
sleep3
if[`ps-Cnginx--no-header|wc-l`-eq0];then
#killallkeepalived
servicekeepalivedstop
fi
fi
chmod +x /etc/keepalived/nginx_pid.sh
server keepalived start
5.添加防火墙协议
VRRP（Virtual Router Redundancy Protocol，虚拟路由器冗余协议）
在iptables配置当中增加：
-I INPUT -s 192.168.0.47 -d 224.0.0.18 -j ACCEPT # 如果是backup服务器，这里改成master服务器的IP
六、测试
１.当NGINX_MASTER、NGINX_BACKUP服务器nginx均正常工作时
在NGINX_MASTER上：
在NGINX_BACKUP上：
master服务器eth0网卡正常绑定VIP，而backup却没有绑定，通过浏览器可正常访问网站正常。
２.关闭NGINX_MASTER的keepalived和nginx服务，NGINX_BACKUP正常工作时
在NGINX_MASTER上：
在NGINX_BACKUP上：
NGINX_BACKUP的eth0已瞬间绑定VIP，通过浏览器访问网站正常。
３.将NGINX_MASTER的keepalived和nginx服务启动，关闭NGINX_BACKUP的keepalived和nginx服务
NGINX_MASTER的eth0网卡重新绑定VIP，通过浏览器访问网站正常。
４.关闭WEB_1服务器，通过浏览器访问网站正常。