/ 中存储网

CentOS系统安装配置Nginx+keepalived实现负载均衡

2014-04-13 16:11:01 来源:itjs.cn
一.体系架构

在Keepalived + Nginx高可靠负载均衡架构中,keepalived负责实现High-availability (HA) 功能控制前端机VIP(虚拟网络地址),当有设备发生故障时,热备服务器可以瞬间将VIP自动切换过来,实际运行中体验只有2秒钟切换时间,DNS服务可 以负责前端VIP的负载均衡。

二.简单原理

NGINX_MASTER、NGINX_BACKUP两台服务器均通过keepalived软件把eth0网卡绑上一个虚拟IP(VIP)地址 192.168.0.56,此VIP当前由谁承载着服务就绑定在谁的eth0上,当NGINX_MASTER发生故障时,NGINX_BACKUP会通过 /etc/keepalived/keepalived.conf文件中设置的心跳时间advert_int 1检查,无法获取NGINX_MASTER正常状态的话,NGINX_BACKUP会瞬间绑定VIP来接替nginx_master的工作,当 NGINX_MASTER恢复后keepalived会通过priority参数判断优先权将虚拟VIP地址192.168.0.56重新绑定给 NGINX_MASTER的eth0网卡。

使用此方案的优越性

1.实现了可弹性化的架构,在压力增大的时候可以临时添加web服务器添加到这个架构里面去;

2.upstream具有负载均衡能力,可以自动判断后端的机器,并且自动踢出不能正常提供服务的机器;

3.相对于lvs而言,正则分发和重定向更为灵活。而Keepalvied可保证单个nginx负载均衡器的有效性,避免单点故障;

4.用nginx做负载均衡,无需对后端的机器做任何改动。

三.系统环境

两台负载机器安装:centos5.8 +nginx+keepalived,分别命名为: NGINX_MASTER,NGINX_BACKUP。

两台WEB集群机器安装:windows server 2008 R2+IIS7,分别命名为: WEB_1,WEB_2。

NGINX_MASTER:

ip:192.168.0.69(主服务器)

子网掩码:255.255.255.0

默认网关:192.168.0.1

vip:192.168.0.56

LVS_DR_BACKUP:

ip:192.168.0.47(备服务器)

子网掩码:255.255.255.0

默认网关:192.168.0.1

vip:192.168.0.56

WEB_1:

ip:192.168.0.109

子网掩码:255.255.255.0

默认网关:192.168.0.1

WEB_2:

ip:192.168.0.115

子网掩码:255.255.255.0

默认网关:192.168.0.1

四、Nginx的安装配置

分别在NGINX_MASTER、NGINX_BACKUP两台服务器安装nginx

1、关闭SELinux

查看SELinux的状态

getenforce

如果是开启状态,则

vi /etc/selinux/config

#SELINUX=enforcing #注释掉

#SELINUXTYPE=targeted #注释掉

SELINUX=disabled #增加

重启系统

reboot

2、开启防火墙80端口

vi /etc/sysconfig/iptables

添加一条规则

-A RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 80 -j ACCEPT

3、安装编译工具

yum update

yum install wget make gcc gcc-c++ zlib-devel openssl openssl-devel pcre-devel gd kernelkeyutils patch perl mhash(哈稀函数库)

4 、系统约定

软件源代码包存放位置:/usr/local/src

源码包编译安装位置:/usr/local/软件名字

默认系统就会加载/dev/shm ,它就是所谓的tmpfs,有人说跟ramdisk(虚拟磁盘),但不一样。象虚拟磁盘一样,tmpfs 可以使用您的 RAM,但它也可以使用您的交换分区来存储。而且传统的虚拟磁盘是个块设备,并需要一个 mkfs 之类的命令才能真正地使用它,tmpfs 是一个文件系统,而不是块设备;您只是安装它,它就可以使用了。

tmpfs有以下优势:

1)动态文件系统的大小,

2)tmpfs 的另一个主要的好处是它闪电般的速度。因为典型的 tmpfs 文件系统会完全驻留在 RAM 中,读写几乎可以是瞬间的。

3)tmpfs 数据在重新启动之后不会保留,因为虚拟内存本质上就是易失的。所以有必要做一些脚本做诸如加载,绑定的操作。

首先在/dev/shm建个tmp文件夹,然后与实际/tmp绑定

mkdir /dev/shm/tmp

chmod 777 /dev/shm/tmp

mount --bind /dev/shm/tmp /tmp

5、下载软件

cd /usr/local/src #进入目录

(1)、下载nginx

wget http://nginx.org/download/nginx-1.3.0.tar.gz

(2)、下载pcre (支持nginx伪静态)

wget ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.30.tar.gz

(3)、下载ngx_cache_purge(清除指定URL缓存)

wget http://labs.frickle.com/files/ngx_cache_purge-1.5.tar.gz

(4)、下载keepalived

wget http://www.keepalived.org/software/keepalived-1.2.2.tar.gz

6、安装pcre

tar zxvf pcre-8.21.tar.gz

cd pcre-8.21

./configure

make

make install

7、安装nginx

groupadd www #添加www组

useradd -g www www -s /bin/false #创建nginx运行账户www并加入到www组,不允许www用户直接登录系统

cd /usr/local/src

tar zxvf ngx_cache_purge-1.5.tar.gz

tar zxvf nginx-1.3.0.tar.gz

cd nginx-1.3.0

./configure --prefix=/usr/local/nginx --user=www --group=www --with-http_stub_status_module --with-openssl=/usr/include/openssl --with-pcre=/usr/local/src/pcre-8.30 --add-module=/usr/local/src/ngx_cache_purge-1.5 --with-http_gzip_static_module

# 注意:--with-pcre指向的是源码包解压的路径,而不是安装的路径,否则编译会报错

make

make install

/usr/local/nginx/sbin/nginx #启动nginx

chown www.www -R /usr/local/nginx/html #设置目录所有者

vi /etc/rc.d/init.d/nginx # 设置nginx开启启动,编辑启动文件添加下面内容

#!/bin/bash

#nginxStartupscriptfortheNginxHTTPServer

#itisv.1.3.0version.

#chkconfig:-8515

#description:Nginxisahigh-performancewebandproxyserver.

#Ithasalotoffeatures,butit'snotforeveryone.

#processname:nginx

#pidfile:/var/run/nginx.pid

#config:/usr/local/nginx/conf/nginx.conf

nginxd=/usr/local/nginx/sbin/nginx

nginx_config=/usr/local/nginx/conf/nginx.conf

nginx_pid=/usr/local/nginx/logs/nginx.pid

RETVAL=0

prog="nginx"

#Sourcefunctionlibrary.

./etc/rc.d/init.d/functions

#Sourcenetworkingconfiguration.

./etc/sysconfig/network

#Checkthatnetworkingisup.

[${NETWORKING}="no"]&&exit0

[-x$nginxd]||exit0

#Startnginxdaemonsfunctions.

start(){

if[-e$nginx_pid];then

echo"nginxalreadyrunning...."

exit1

fi

echo-n$"Starting$prog:"

daemon$nginxd-c${nginx_config}

RETVAL=$?

echo

[$RETVAL=0]&&touch/var/lock/subsys/nginx

return$RETVAL

}

#Stopnginxdaemonsfunctions.

stop(){

echo-n$"Stopping$prog:"

killproc$nginxd

RETVAL=$?

echo

[$RETVAL=0]&&rm-f/var/lock/subsys/nginx/usr/local/nginx/logs/nginx.pid

}

reload(){

echo-n$"Reloading$prog:"

#kill-HUP`cat${nginx_pid}`

killproc$nginxd-HUP

RETVAL=$?

echo

}

#Seehowwewerecalled.

case"$1"in

start)

start

;;

stop)

stop

;;

reload)

reload

;;

restart)

stop

start

;;

status)

status$prog

RETVAL=$?

;;

*)

echo$"Usage:$prog{start|stop|restart|reload|status|help}"

exit1

esac

exit$RETVAL

chmod +x /etc/rc.d/init.d/nginx # 赋予执行权限

chkconfig nginx on #设置开机启动

service nginx stop #关闭nginx

8、配置nginx

将nginx初始配置文件备份,我们要重新创建配置文件

mv /usr/local/nginx/conf/nginx.conf /usr/local/nginx/conf/nginx.conf.bak

vi /usr/local/nginx/conf/nginx.conf

userwwwwww;

worker_processes4;#工作进程数,为CPU的核心数或者两倍

error_loglogs/error.logcrit;#debug|info|notice|warn|error|crit

pidlogs/nginx.pid;

events{

useepoll;#Linux最常用支持大并发的事件触发机制

worker_connections65535;

}

http{

includemime.types;#设定mime类型,类型由mime.type文件定义

default_typeapplication/octet-stream;

log_formatmain'$remote_addr-$remote_user[$time_local]"$request"'

'$status$body_bytes_sent"$http_referer"'

'"$http_user_agent""$http_x_forwarded_for"';

access_loglogs/access.logmain;

#设定请求缓冲

server_names_hash_bucket_size256;#增加,原为128

client_header_buffer_size256k;#增加,原为32k

large_client_header_buffers4256k;#增加,原为32k

#sizelimits

client_max_body_size50m;#允许客户端请求的最大的单个文件字节数

client_header_timeout3m;

client_body_timeout3m;

send_timeout3m;

sendfileon;

tcp_nopushon;

keepalive_timeout120;

tcp_nodelayon;

server_tokensoff;#不显示nginx版本信息

limit_conn_zone$binary_remote_addrzone=perip:10m;#添加limit_zone,限制同一IP并发数

#fastcgi_intercept_errorson;#开启错误页面跳转

includegzip.conf;#压缩配置文件

includeproxy.conf;#proxy_cache参数配置文件

includevhost/*.conf;#nginx虚拟主机包含文件目录

includemysvrhost.conf;#后端WEB服务器列表文件

}

cd /usr/local/nginx/conf/

mkdir vhost

vi proxy.conf

proxy_temp_path/tmp/proxy_temp;

proxy_cache_path/tmp/proxy_cachelevels=1:2keys_zone=cache_one:500minactive=1dmax_size=3g;

client_body_buffer_size512k;#原为512k

proxy_connect_timeout50;#代理连接超时

proxy_read_timeout600;#代理发送超时

proxy_send_timeout600;#代理接收超时

proxy_buffer_size128k;#代理缓冲大小,原为32k

proxy_buffers16256k;#代理缓冲,原为464k

proxy_busy_buffers_size512k;#高负荷下缓冲大小,原为128k

proxy_temp_file_write_size1024m;#proxy缓存临时文件的大小原为128k

#proxy_ignore_client_aborton;#不允许代理端主动关闭连接

proxy_next_upstreamerrortimeoutinvalid_headerhttp_500http_503http_404http_502http_504;

vi mysvrhost.conf

upstreamcn100{

ip_hash;#会话保持

server192.168.0.115max_fails=1fail_timeout=60s;

server192.168.0.109max_fails=1fail_timeout=60s;

}

vi gzip.conf

#网页GZIP压缩设置

#2012.4.2

#可通过http://tool.chinaz.com/Gzips/检测压缩情况

#

#启动预压缩功能,对所有类型的文件都有效

gzip_staticon;#开启nginx_static后,对于任何文件都会先查找是否有对应的gz文件

#找不到预压缩文件,进行动态压缩

gzipon;

gzip_min_length1k;#设置最小的压缩值,单位为bytes.超过设置的min_length的值会进行压缩,小于的不压缩.

gzip_comp_level3;#压缩等级设置,1-9,1是最小压缩,速度也是最快的;9刚好相反,最大的压缩,速度是最慢的,消耗的CPU资源也多

gzip_buffers1664k;#设置系统的缓存大小,以存储GZIP压缩结果的数据流,它可以避免nginx频烦向系统申请压缩空间大小

gzip_typestext/plainapplication/x-javascripttext/csstext/javascript;

#关于gzip_types,如果你想让图片也开启gzip压缩,那么用以下这段吧:

#gzip_typestext/plainapplication/x-javascripttext/csstext/javascriptapplication/x-httpd-phpimage/jpegimage/gifimage/png;

#gzip公共配置

gzip_http_version1.1;#识别http的协议版本(1.0/1.1)

gzip_proxiedany;#设置使用代理时是否进行压缩,默认是off的

gzip_varyon;#和http头有关系,加个vary头,代理判断是否需要压缩

gzip_disable"MSIE[1-6].";#禁用IE6的gzip压缩

vi vhost/cn100.conf

server{

listen80;

server_namelocalhost;

#charsetGB2312;

location/

{

proxy_redirectoff;

proxy_set_headerHost$host;

proxy_set_headerX-Real-IP$remote_addr;

proxy_set_headerX-Forwarded-For$proxy_add_x_forwarded_for;

proxy_passhttp://cn100;

}

#查看nginx的并发连接数配置

location/NginxStatus

{

stub_statuson;

access_logoff;

auth_basic"NginxStatus";

}

#access_logoff; #根据自己的需要选择是否启用access日志,注释掉代表启用

error_page404/404.html;

error_page500502503504/404.html;

location=/404.html{

roothtml;

}

limit_connperip50;#同一ip并发数为50,超过会返回503

}

9、设置proxy_cache参数配置

cd /tmp #进入目录

mkdir -p /tmp/proxy_temp #proxy_temp_dir与proxy_cache_dir这两个文件夹必须在同一个分区

mkdir -p /tmp/proxy_cache #proxy_cache_dir与proxy_temp_dir这两个文件夹必须在同一个分区

chown www.www -R /tmp/proxy_temp /tmp/proxy_cache #设置目录所有者

chmod -R 777 /tmp/proxy_temp /tmp/proxy_cache #设置目录权限

附1:Nginx优化设置基本的TCP配置

vi /etc/sysctl.conf

优化内核参数

net.ipv4.ip_forward=0

net.ipv4.conf.default.rp_filter=1

net.ipv4.conf.default.accept_source_route=0

kernel.sysrq=0

kernel.core_uses_pid=1

net.ipv4.tcp_syncookies=1

kernel.msgmnb=65536

kernel.msgmax=65536

kernel.shmmax=68719476736

kernel.shmall=4294967296

net.ipv4.tcp_max_tw_buckets=6000

net.ipv4.tcp_sack=1

net.ipv4.tcp_window_scaling=1

net.ipv4.tcp_rmem=4096873804194304

net.ipv4.tcp_wmem=4096163844194304

net.core.wmem_default=8388608

net.core.rmem_default=8388608

net.core.rmem_max=16777216

net.core.wmem_max=16777216

net.core.netdev_max_backlog=262144

net.core.somaxconn=262144

net.ipv4.tcp_max_orphans=3276800

net.ipv4.tcp_max_syn_backlog=262144

net.ipv4.tcp_timestamps=0

net.ipv4.tcp_synack_retries=1

net.ipv4.tcp_syn_retries=1

net.ipv4.tcp_tw_recycle=1

net.ipv4.tcp_tw_reuse=1

net.ipv4.tcp_mem=94500000915000000927000000

net.ipv4.tcp_fin_timeout=1

net.ipv4.tcp_keepalive_time=30

net.ipv4.ip_local_port_range=102465000允许系统打开的端口范围

使配置立即生效:

/sbin/sysctl -p

附2:编写每天定时切割Nginx日志的脚本

1、创建脚本/usr/local/nginx/cut_nginx_log.sh

vi /usr/local/nginx/cut_nginx_log.sh

#/bin/bash

savepath_log='/usr/local/nginx/logs'

nglogs='/usr/local/nginx/logs'

mkdir-p$savepath_log/$(date+%Y)/$(date+%m)

mv$nglogs/access.log$savepath_log/$(date+%Y)/$(date+%m)/access.$(date+%Y%m%d).log

mv$nglogs/error.log$savepath_log/$(date+%Y)/$(date+%m)/error.$(date+%Y%m%d).log

kill-USR1`cat/usr/local/nginx/logs/nginx.pid`

chmod +x /usr/local/nginx/cut_nginx_log.sh

2、设置crontab,每天凌晨00:00切割nginx访问日志

crontab –e

输入以下内容:

00 00 * * * /bin/bash /usr/local/nginx/cut_nginx_log.sh

附3:关闭系统无关的服务

接下来关掉一些不必要的系统服务

chkconfig bluetooth off

chkconfig firstboot off

chkconfig cups off

chkconfig ip6tables off

chkconfig isdn off

chkconfig kudzu off

chkconfig sendmail off

chkconfig smartd off

chkconfig autofs off

附4:关于服务器间的时间同步

在时间同步服务器上安装ntp

yum install ntp

设置同步

crontab –e

在最后添加

1 5 * * * /usr/sbin/ntpdate time.nist.gov >> /var/log/upClock.log

附5. 查看nginx的并发连接数

在浏览器中打开http:///NginxStatus

以上解析:

Active connections:当前 Nginx 正处理的活动连接数。

server accepts handled requests :总共处理了3个连接 , 成功创建 3 次握手,总共处理了6个请求。

Reading:nginx 读取到客户端的 Header 信息数。

Writing:nginx 返回给客户端的 Header 信息数。

Waiting :开启 keep-alive 的情况下, Nginx 已经处理完正在等候下一个请求指令的停留连接。

附6. 开启nginx缓存功能(2012年5月30日新增)

proxy.conf文件前面已经配置过了,这里无需再配置,直接配置cn100.conf文件即可。

vi/usr/local/nginx/conf/vhost/cn100.conf

server{

listen80;

server_namelocalhost;

#charsetGB2312;

location/

{

proxy_passhttp://cn100;

proxy_redirectoff;

proxy_set_headerHost$host;

proxy_set_headerX-Real-IP$remote_addr;

proxy_set_headerX-Forwarded-For$proxy_add_x_forwarded_for;

proxy_cachecache_one;

proxy_cache_valid2003023041h;#200、302、304错误状态码保存1小时

proxy_cache_valid3011d;#301错误状态码保存1天

proxy_cache_validany1m;#其余的保存1分钟

#以域名、URI、参数组合成Web缓存的Key值,存储缓存内容到二级缓存目录内

proxy_cache_key$host$uri$is_args$args;

expires30d;#设置失效时间为30天

}

#设置手动清除URL缓存

location~/purge(/.*)

{

#设置只允许指定的IP或IP段才可以清除URL缓存

allow127.0.0.1;

allow192.168.0.0/16;

deny all;

proxy_cache_purgecache_one$host$1$is_args$args;

}

location/NginxStatus

{

stub_statuson;

access_logoff;

auth_basic"NginxStatus";

allow192.168.0.0/16;

denyall;

}

access_logoff;

error_page404/404.html;

error_page500502503504/404.html;

location=/404.html{

roothtml;

}

limit_connctohome_zone50;#同一ip并发数为50,超过会返回503

}

以上配置文件红色部分为新增内容。通过浏览器访问一下网站,进入到/tmp/proxy_cache目录下,查看是否生成缓存文件。

清除URL缓存方法:

假设你的URL为:http://192.168.0.56/images/apa.jpg,浏览器输入:http://192.168.0.56/purge/images/apa.jpg,就可以清除该URL的缓存。

五、安装配置keepalived

1.安装keepalived(HA):

$ tar zxvf keepalived-1.2.2.tar.gz

$ cd keepalived-1.2.2

$ ./configure

Keepalived configuration

------------------------

Keepalived version : 1.2.2

Compiler : gcc

Compiler flags : -g -O2 -DETHERTYPE_IPV6=0x86dd

Extra Lib : -lpopt -lssl -lcrypto

Use IPVS Framework : No

IPVS sync daemon support : No

Use VRRP Framework : Yes

Use Debug flags : No

注:若IPVS处为No,不用担心,是没有装ipvsadm的原因,我们是用nginx做负载,所以这里只需要用到VRRP。

make

make install

2.将keepalived 以服务方式启动

cp /usr/local/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/

cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig

mkdir /etc/keepalived

cp /usr/local/etc/keepalived/keepalived.conf /etc/keepalived/

cp /usr/local/sbin/keepalived /usr/sbin

chkconfig keepalived on

3.修改keepalived配置文件

vi /etc/keepalived/keepalived.conf

!ConfigurationFileforkeepalived

global_defs{

notification_email{

[email protected]

}

notification_email_from[email protected]

smtp_servermail.cn100.com

#smtp_connect_timeout30

router_idLVS_DEVEL

}

vrrp_scriptchk_http_port{

script"/etc/keepalived/nginx_pid.sh"#检查nginx状态的脚本

interval2  

weight3

}

vrrp_instanceVI_1{

stateMASTER

interfaceeth0

virtual_router_id51

priority100

advert_int1

authentication{

auth_typePASS

auth_pass1111

}

virtual_ipaddress{

192.168.0.56

#192.168.200.17

#192.168.200.18

}

track_script{

chk_http_port

}

}

4.添加检查nginx状态的脚本,当nginx停止时,会自动将nginx启动

vi /etc/keepalived/nginx_pid.sh

#!/bin/bash

#version0.0.1

#

A=`ps-Cnginx--no-header|wc-l`

if[$A-eq0];then

#/usr/sbin/nginx

servicenginxstart

sleep3

if[`ps-Cnginx--no-header|wc-l`-eq0];then

#killallkeepalived

servicekeepalivedstop

fi

fi

chmod +x /etc/keepalived/nginx_pid.sh

server keepalived start

5.添加防火墙协议

VRRP(Virtual Router Redundancy Protocol,虚拟路由器冗余协议)

在iptables配置当中增加:

-I INPUT -s 192.168.0.47 -d 224.0.0.18 -j ACCEPT # 如果是backup服务器,这里改成master服务器的IP

六、测试

1.当NGINX_MASTER、NGINX_BACKUP服务器nginx均正常工作时

在NGINX_MASTER上:

在NGINX_BACKUP上:

master服务器eth0网卡正常绑定VIP,而backup却没有绑定,通过浏览器可正常访问网站正常。

2.关闭NGINX_MASTER的keepalived和nginx服务,NGINX_BACKUP正常工作时

在NGINX_MASTER上:

在NGINX_BACKUP上:

NGINX_BACKUP的eth0已瞬间绑定VIP,通过浏览器访问网站正常。

3.将NGINX_MASTER的keepalived和nginx服务启动,关闭NGINX_BACKUP的keepalived和nginx服务

NGINX_MASTER的eth0网卡重新绑定VIP,通过浏览器访问网站正常。

4.关闭WEB_1服务器,通过浏览器访问网站正常。