电商平台营销时候,经常会碰到的大流量问题,
除了做流量分流处理,可能还要做用户黑白名单、信誉分析,进而根据用户ip信誉权重做相应的流量拦截、限制流量。Nginx自身有的请求限制模块ngx_http_limit_req_module、流量限制模块ngx_stream_limit_conn_module基于令牌桶算法,可以方便的控制令牌速率,自定义调节限流,实现基本的限流控制。
对于提供下载的网站,肯定是要进行流量控制的,例如软件下载站、视频服务等。它也可以减少一些爬虫程序或者DDOS的攻击。
对这两个模块的介绍的文章也不少,这里转载一篇hopestar的文章: nginx限制IP连接数的范例参考, 因为他介绍的很简洁。
如何Nginx限制同一个ip的连接数,限制并发数目:
1. 限流
- 添加limit_zone和limit_req_zone;
这个变量只能在http使用 :
1 | vi /export/servers/nginx/conf/nginx.conf |
- 添加limit_conn 和limit_req
这个变量可以在http
, server
, location
使用 我是限制nginx上的所有服务,所以添加到http里面 (如果你需要限制部分服务,可在nginx/conf/domains里面选择相应的server或者location添加上便可)
1 | vi /export/servers/nginx/conf/nginx.conf |
参数详解(数值按具体需要和服务器承载能力设置,):
1 | limit_zone,是针对每个变量(这里指IP,即$binary_remote_addr)定义一个存储session状态的容器。 |
示例:
1 | http |
重启nginx
1 | /export/servers/nginx/sbin/nginx -s reload |
2. nginx白名单设置
以上配置会对所有的ip都进行限制,有些时候我们不希望对搜索引擎的蜘蛛或者某些自己的代理机过来的请求进行限制, 对于特定的白名单ip我们可以借助geo指令实现。
先在nginx的请求日志进行统计,查看那个ip的访问量比较大, 运行:
1 | cat access.log | grep "03/Jun" |awk '{print $1}'|sort |uniq -c|sort -nrk 1|head -n 10 |
接下来就可以对这些IP进行分析了。看哪些需要进行白名单设置。
1 | http |
上面两个需要用到map和geo模块,这是nginx自带的模块,有的运维喜欢把他们关闭,自己./sbin/nginx -V
留意一下。把配置的--whithout-XXX-module
去掉重新编译一下就可以了。 上面这段配置的意思是:
geo指令定义了一个白名单limited的值为0
使用map指令映射搜索引擎客户端的ip为空串,如果不是搜索引擎就显示本身真实的ip,这样搜索引擎ip就不能存到limit_req_zone内存session中,所以不会限制搜索引擎的ip访问
3. 获取客户端的真实IP
顺带一提,为了获取客户端的真实IP。该模块需要安装read_ip模块,运维应该默认有安装。没有的话也可自行安装: 配置方式相当简单,重新编译 Nginx 加上 --with-http_realip_module 参数,如:
1 | ./configure --prefix=/opt/nginx --with-http_stub_status_module --with-pcre=../pcre-6.6 --with-http_realip_module |
在server中增加:
1 | set_real_ip_from 192.168.1.0/24; |
需要说明的地方就是设置IP源的时候可以设置单个IP,也可以设置IP段,另外是使用X-Real-IP还是X-Forwarded-For,取决于前面的服务器有哪个头。
set_real_ip_from 设置的IP端可以让运维查看日志,看下你的请求是来自哪些ip段。
重新加载一下服务,差不多就OK了。
再查看日志的话,应该可以看到客户端的真实IP了。
注意:如果未安装该模块的话你的获取到的IP端可能是来自前端代理(如squid)的IP,结果就是多个用户被当成单个用户对待,导致应用不能响应。
再PS一下: 自测: 有条件的自己可以用ab或者webben自测一下。
未安装前压测的话,因为有大量请求,所以access.log会有大量日志,而error.log日志没有变化。
1 | ➜ ~ webbench -c 30 -t 30 http://xxx.com |
安装后会发现很多超出的请求会返回503,所以access.log日志变化不快,error.log有大量记录,提示limit_reque缓住了多少请求。
1 | ➜ ~ webbench -c 30 -t 30 http://xxxx.com |