FreeBSD 8.1系统部署Nginx web负载均衡服务器环境

Nginx (“engine x”) 相信大家已经很熟悉了，是俄罗斯人Igor Sysoev(塞索耶夫)编写的一款高性能的 HTTP 和反向代理服务器。Nginx 已经在俄罗斯最大的门户网站── Rambler Media（www.rambler.ru）上运行了3年时间，同时俄罗斯超过20%的虚拟主机平台采用Nginx作为反向代理服务器。

在国内，已经有 新浪博客、新浪播客、网易新闻、六间房、56.com、Discuz!、水木社区、豆瓣、YUPOO、海内、迅雷在线 等多家网站使用 Nginx 作为Web服务器或反向代理服务器。

我观察了国内清一色的CDN网站，基本都是用了nginx作为它们的web服务器。nginx的优点如下：

1、高并发连接：官方测试能够支撑5万并发连接，在实际生产环境中跑到2～3万并发连接数。

2、内存消耗少：在3万并发连接下，开启的10个Nginx进程才消耗150M内存（15M*10=150M）。

3、配置文件非常简单：风格跟程序一样通俗易懂。

4、成本低廉：Nginx为开源软件，可以免费使用。而购买F5 BIG-IP、NetScaler等硬件负载均衡交换机则需要十多万至几十万人民币。

5、支持Rewrite重写规则：能够根据域名、URL的不同，将HTTP请求分到不同的后端服务器群组。

6、内置的健康检查功能：如果 Nginx Proxy后端的某台Web服务器宕机了，不会影响前端访问。

7、节省带宽：支持GZIP压缩，可以添加浏览器本地缓存的Header头。

8、稳定性高：用于反向代理，宕机的概率微乎其微。

9、对网络的依赖性非常之低，理论上ping得通就能正常使用。

本文将介绍如何利用nginx配置简单的web负载均衡。文中所用的平台是64bit的FreeBSD 8.1。

部分内容参考了张宴的相关文章。

安装

cd /usr/ports/www/nginx

make install clean

配置nginx.conf文件

#user  nobody;

worker_processes  4;

#error_log  logs/error.log;

#error_log  logs/error.log  notice;

#error_log  logs/error.log  info;

#pid        logs/nginx.pid;

events {

worker_connections  1024;

}

http {

include       mime.types;

default_type  application/octet-stream;

#log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '

'$status $body_bytes_sent "$http_referer" '

'"$http_user_agent" "$http_x_forwarded_for"';

#access_log  logs/access.log  main;

sendfile        on;

#tcp_nopush     on;

#keepalive_timeout  0;

keepalive_timeout  65;

#gzip  on;

upstream webserver {

server 192.168.21.45 weight=1;

server 192.168.4.45  weight=1;

}

server {

listen       80;

server_name  localhost;

#charset koi8-r;

#access_log  logs/host.access.log  main;

location / {

proxy_pass      http://webserver;

proxy_redirect          off;

proxy_set_header        Host $host;

proxy_set_header        X-Real-IP $remote_addr;

proxy_set_header        X-Forwarded-For $proxy_add_x_forwarded_for;

client_max_body_size    10m;

client_body_buffer_size 128k;

proxy_connect_timeout   90;

proxy_send_timeout      90;

proxy_read_timeout      90;

proxy_buffer_size       4 32k;

proxy_temp_file_write_size 64k;

}

#error_page  404              /404.html;

# redirect server error pages to the static page /50x.html

#

error_page   500 502 503 504  /50x.html;

location = /50x.html {

root   /usr/local/www/nginx-dist;

}

# proxy the PHP scripts to Apache listening on 127.0.0.1:80

#

#location ~ .php$ {

#    proxy_pass   http://127.0.0.1;

#}

# pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000

#

#location ~ .php$ {

#    root           html;

#    fastcgi_pass   127.0.0.1:9000;

#    fastcgi_index  index.php;

#    fastcgi_param  SCRIPT_FILENAME  /scripts$fastcgi_script_name;

#    include        fastcgi_params;

#}

# deny access to .htaccess files, if Apache's document root

# concurs with nginx's one

#

#location ~ /.ht {

#    deny  all;

#}

}

another virtual host using mix of IP-, name-, and port-based configuration

#

#server {

listen       8000;

listen       somename:8080;

server_name  somename  alias  another.alias;

location / {

root   html;

index  index.html index.htm;

}

#}

HTTPS server

#

#server {

listen       443;

server_name  localhost;

ssl                  on;

ssl_certificate      cert.pem;

ssl_certificate_key  cert.key;

ssl_session_timeout  5m;

ssl_protocols  SSLv2 SSLv3 TLSv1;

ssl_ciphers  ALL:!ADH:!EXPORT56:RC4+RSA:+HIGH:+MEDIUM:+LOW:+SSLv2:+EXP;

ssl_prefer_server_ciphers   on;

location / {

root   html;

index  index.html index.htm;

}

#}

}

重点语法讲解

worker_processes  4; #这个与服务器的核数等同即可

upstream #这个里面的weight值越大，服务器所要承担的压力也越大；如果采用ip_hash模块时，就不能分配weight了，不然Nginx启动时会报错

proxy_set_header        Host $host;

proxy_set_header        X-Real-IP $remote_addr;

proxy_set_header        X-Forwarded-For $proxy_add_x_forwarded_for;

#以上配置是让后端的web服务器可以通过X-Forwarded-For获取客户端的真实IP

#允许客户端请求的最大的单个文件字节数

client_max_body_size     10m;

#缓冲区代理缓冲用户端请求的最大字节数 可以理解为先保存到本地再传给用户

client_body_buffer_size  128k;

#跟后端服务器连接的超时时间_发起握手等候响应超时时间

proxy_connect_timeout    90;

#连接成功后_等候后端服务器响应时间_其实已经进入后端的排队之中等候处理

proxy_read_timeout       90;

#后端服务器数据回传时间_就是在规定时间之内后端服务器必须传完所有的数据

proxy_send_timeout       90;

#代理请求缓存区_这个缓存区间会保存用户的头信息以供Nginx进行规则处理，一般只要能保存下头信息即可

proxy_buffer_size        8k;

#同上 告诉Nginx保存单个用的几个Buffer 最大用多大空间

proxy_buffers            4 32k;

#如果系统很忙的时候可以申请更大的proxy_buffers 官方推荐*2

proxy_busy_buffers_size 64k;

#proxy缓存临时文件的大小

proxy_temp_file_write_size 64k;

Nginx如何解决session的问题

Nginx负载均衡器采用ip_hash来代替默认的rr方式，即可以将某客户端IP的请求通过哈希算法定位到同一台后端web服务器上，这样避免了session丢失，解决了session问题。

但ip_hash指令无法保证后端服务器的负载均衡，可能有些后端服务器接收的请求多，有些后端服务器接收的请求少；这样失去了负载均衡的意义。

我们的解决方案是将用户的登录session信息写进后端的Mysql数据库，这个在后面的PHPCMS系统中也实现了，效果也不错；后来我提出了折衷方案，如果Nginx并发连接数(即Nginx负载均衡器的NginxStatus的active connections)>2000，即采用将session写进MySQL数据库的方法；如果并发数小的话，ip_hash效果也是相当好的。