首页 / 负载均衡 / 【Nginx】实现负载均衡、限流、缓存、黑白名单和灰度发布，这是最全的一篇了！

【Nginx】实现负载均衡、限流、缓存、黑白名单和灰度发布，这是最全的一篇了！

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了【Nginx】实现负载均衡、限流、缓存、黑白名单和灰度发布，这是最全的一篇了！，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含8074字，纯文字阅读大概需要12分钟。

内容图文

Nginx安装

注意：这里以CentOS 6.8服务器为例，以root用户身份来安装Nginx。

1.安装依赖环境

yum?-y?install?wget?gcc-c++?ncurses?ncurses-devel?cmake?make?perl?bison?openssl?openssl-devel?gcc*?libxml2?libxml2-devel?curl-devel?libjpeg*?libpng*?freetype*?autoconf?automake?zlib*?fiex*?libxml*?libmcrypt*?libtool-ltdl-devel*?libaio?libaio-devel??bzr?libtool

2.安装openssl

wget?https://www.openssl.org/source/openssl-1.0.2s.tar.gz
tar?-zxvf?openssl-1.0.2s.tar.gz
cd?/usr/local/src/openssl-1.0.2s
./config?--prefix=/usr/local/openssl-1.0.2s
make
make?install

3.安装pcre

wget?https://ftp.pcre.org/pub/pcre/pcre-8.43.tar.gz
tar?-zxvf?pcre-8.43.tar.gz
cd?/usr/local/src/pcre-8.43
./configure?--prefix=/usr/local/pcre-8.43
make
make?install

4.安装zlib

wget?https://sourceforge.net/projects/libpng/files/zlib/1.2.11/zlib-1.2.11.tar.gz
tar?-zxvf?zlib-1.2.11.tar.gz
cd?/usr/local/src/zlib-1.2.11
./configure?--prefix=/usr/local/zlib-1.2.11
make
make

5.安装Nginx

wget?http://nginx.org/download/nginx-1.17.2.tar.gz
tar?-zxvf?nginx-1.17.2.tar.gz
cd?/usr/local/src/nginx-1.17.2
./configure?--prefix=/usr/local/nginx-1.17.2?--with-openssl=/usr/local/src/openssl-1.0.2s?--with-pcre=/usr/local/src/pcre-8.43?--with-zlib=/usr/local/src/zlib-1.2.11?--with-http_ssl_module
make
make?install

这里需要注意的是：安装Nginx时，指定的是openssl、pcre和zlib的源码解压目录，安装完成后Nginx配置文件的完整路径为：/usr/local/nginx-1.17.2/conf/nginx.conf。

Nginx负载均衡配置

1.负载均衡配置

http?{
???????……
????upstream?real_server?{
???????server?192.168.103.100:2001?weight=1;??#轮询服务器和访问权重
???????server?192.168.103.100:2002?weight=2;
????}

????server?{
????????listen??80;

????????location?/?{
????????????proxy_pass?http://real_server;
????????}
????}
}

2.失败重试配置

upstream?real_server?{
???server?192.168.103.100:2001?weight=1?max_fails=2?fail_timeout=60s;
???server?192.168.103.100:2002?weight=2?max_fails=2?fail_timeout=60s;
}

意思是在fail_timeout时间内失败了max_fails次请求后，则认为该上游服务器不可用，然后将该服务地址踢除掉。fail_timeout时间后会再次将该服务器加入存活列表，进行重试。

Nginx限流配置

1.配置参数

limit_req_zone指令设置参数

limit_req_zone?$binary_remote_addr?zone=mylimit:10m?rate=10r/s;

limit_req_zone定义在http块中，$binary_remote_addr表示保存客户端IP地址的二进制形式。
Zone定义IP状态及URL访问频率的共享内存区域。zone=keyword标识区域的名字，以及冒号后面跟区域大小。16000个IP地址的状态信息约1MB，所以示例中区域可以存储160000个IP地址。
Rate定义最大请求速率。示例中速率不能超过每秒10个请求。

2.设置限流

location?/?{
????????limit_req?zone=mylimit?burst=20?nodelay;
????????proxy_pass?http://real_server;
}

burst排队大小，nodelay不限制单个请求间的时间。

3.不限流白名单

geo?$limit?{
default??????????????1;
192.168.2.0/24??0;
}

map?$limit?$limit_key?{
1?$binary_remote_addr;
0?"";
}

limit_req_zone?$limit_key?zone=mylimit:10m?rate=1r/s;

location?/?{
????????limit_req?zone=mylimit?burst=1?nodelay;
????????proxy_pass?http://real_server;
}

上述配置中，192.168.2.0/24网段的IP访问是不限流的，其他限流。

IP后面的数字含义：

24表示子网掩码:255.255.255.0
16表示子网掩码:255.255.0.0
8表示子网掩码:255.0.0.0

Nginx缓存配置

1.浏览器缓存

静态资源缓存用expire

location?~*??.(jpg|jpeg|png|gif|ico|css|js)$?{
???expires?2d;
}

Response Header中添加了Expires和Cache-Control,

静态资源包括（一般缓存）

普通不变的图像，如logo，图标等
js、css静态文件
可下载的内容，媒体文件

协商缓存（add_header ETag/Last-Modified value）

HTML文件
经常替换的图片
经常修改的js、css文件
基本不变的API接口

不需要缓存

用户隐私等敏感数据
经常改变的api数据接口

2.代理层缓存

//缓存路径，inactive表示缓存的时间，到期之后将会把缓存清理
proxy_cache_path?/data/cache/nginx/?levels=1:2?keys_zone=cache:512m?inactive?=?1d?max_size=8g;

location?/?{
????location?~?\.(htm|html)?$?{
????????proxy_cache?cache;
????????proxy_cache_key????$uri$is_args$args;?????//以此变量值做HASH，作为KEY
????????//HTTP响应首部可以看到X-Cache字段，内容可以有HIT,MISS,EXPIRES等等
????????add_header?X-Cache?$upstream_cache_status;
????????proxy_cache_valid?200?10m;
????????proxy_cache_valid?any?1m;
????????proxy_pass??http://real_server;
????????proxy_redirect?????off;
????}
????location?~?.*\.(gif|jpg|jpeg|bmp|png|ico|txt|js|css)$?{
????????root?/data/webapps/edc;
????????expires??????3d;
????????add_header?Static?Nginx-Proxy;
????}
}

在本地磁盘创建一个文件目录，根据设置，将请求的资源以K-V形式缓存在此目录当中，KEY需要自己定义（这里用的是url的hash值），同时可以根据需要指定某内容的缓存时长，比如状态码为200缓存10分钟，状态码为301，302的缓存5分钟，其他所有内容缓存1分钟等等。
可以通过purger的功能清理缓存。

AB测试/个性化需求时应禁用掉浏览器缓存。

Nginx黑名单

1.一般配置

location?/?{
????deny??192.168.1.1;
????deny?192.168.1.0/24;
????allow?10.1.1.0/16;
????allow?2001:0db8::/32;
????deny??all;
}

2. Lua+Redis动态黑名单(OpenResty)

安装运行

yum?install?yum-utils
yum-config-manager?--add-repo?https://openresty.org/package/centos/openresty.repo
yum?install?openresty
yum?install?openresty-resty
查看
yum?--disablerepo="*"?--enablerepo="openresty"?list?available
运行
service?openresty?start

配置(/usr/local/openresty/nginx/conf/nginx.conf)

lua_shared_dict?ip_blacklist?1m;

server?{
????listen??80;

????location?/?{
????????access_by_lua_file?lua/ip_blacklist.lua;
????????proxy_pass?http://real_server;
????}
}

lua脚本（ip_blacklist.lua）

local?redis_host????=?"192.168.1.132"
local?redis_port????=?6379
local?redis_pwd?????=?123456
local?redis_db?=?2

--?connection?timeout?for?redis?in?ms.
local?redis_connection_timeout?=?100

--?a?set?key?for?blacklist?entries
local?redis_key?????=?"ip_blacklist"

--?cache?lookups?for?this?many?seconds
local?cache_ttl?????=?60

--?end?configuration

local?ip????????????????=?ngx.var.remote_addr
local?ip_blacklist??????=?ngx.shared.ip_blacklist
local?last_update_time??=?ip_blacklist:get("last_update_time");

--?update?ip_blacklist?from?Redis?every?cache_ttl?seconds:
if?last_update_time?==?nil?or?last_update_time?<?(?ngx.now()?-?cache_ttl?)?then

??local?redis?=?require?"resty.redis";
??local?red?=?redis:new();

??red:set_timeout(redis_connect_timeout);

??local?ok,?err?=?red:connect(redis_host,?redis_port);
??if?not?ok?then
????ngx.log(ngx.ERR,?"Redis?connection?error?while?connect:?"?..?err);
??else
????local?ok,?err?=?red:auth(redis_pwd)
????if?not?ok?then
??????ngx.log(ngx.ERR,?"Redis?password?error?while?auth:?"?..?err);
????else
????????local?new_ip_blacklist,?err?=?red:smembers(redis_key);
????????if?err?then
????????????ngx.log(ngx.ERR,?"Redis?read?error?while?retrieving?ip_blacklist:?"?..?err);
????????else
????????ngx.log(ngx.ERR,?"Get?data?success:"?..?new_ip_blacklist)
??????????--?replace?the?locally?stored?ip_blacklist?with?the?updated?values:
????????????ip_blacklist:flush_all();
??????????for?index,?banned_ip?in?ipairs(new_ip_blacklist)?do
????????????ip_blacklist:set(banned_ip,?true);
??????????end
??????????--?update?time
??????????ip_blacklist:set("last_update_time",?ngx.now());
??????end
????end
??end
end

if?ip_blacklist:get(ip)?then
??ngx.log(ngx.ERR,?"Banned?IP?detected?and?refused?access:?"?..?ip);
??return?ngx.exit(ngx.HTTP_FORBIDDEN);
end

Nginx灰度发布

1.根据Cookie实现灰度发布

根据Cookie查询version值，如果该version值为v1转发到host1，为v2转发到host2，都不匹配的情况下转发到默认配置。

upstream?host1?{
???server?192.168.2.46:2001?weight=1;??#轮询服务器和访问权重
???server?192.168.2.46:2002?weight=2;
}

upstream?host2?{
???server?192.168.1.155:1111??max_fails=1?fail_timeout=60;
}

upstream?default?{
???server?192.168.1.153:1111??max_fails=1?fail_timeout=60;
}

map?$COOKIE_version?$group?{
???~*v1$?host1;
???~*v2$?host2;
???default?default;
}

lua_shared_dict?ip_blacklist?1m;

server?{
????listen??80;

????#set?$group?"default";
????#if?($http_cookie?~*?"version=v1"){
????#????set?$group?host1;
????#}
????#if?($http_cookie?~*?"version=v2"){
????#????set?$group?host2;
????#}

????location?/?{
????????access_by_lua_file?lua/ip_blacklist.lua;
????????proxy_pass?http://$group;
????}
}

2.根据来路IP实现灰度发布

server?{
??……………
??set?$group?default;
??if?($remote_addr?~?"192.168.119.1")?{
??????set?$group?host1;
??}
??if?($remote_addr?~?"192.168.119.2")?{
??????set?$group?host2;
??}

3.更细粒度灰度发布

参考：

https://github.com/sunshinelyz/ABTestingGateway

好了，咱们今天就聊到这儿吧！别忘了给个在看和转发，让更多的人看到，一起学习一起进步！！

相关推荐

内容总结

以上是互联网集市为您收集整理的【Nginx】实现负载均衡、限流、缓存、黑白名单和灰度发布，这是最全的一篇了！全部内容，希望文章能够帮你解决【Nginx】实现负载均衡、限流、缓存、黑白名单和灰度发布，这是最全的一篇了！所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/936255.html

来源：【匿名】

【上一篇】循序渐进nginx(二)：反向代理、负载均衡、缓存服务、静态资源访问【下一篇】使用网络地址转换实现多服务器负载均衡

更多 ►

【【Nginx】实现负载均衡、限流、缓存、黑白名单和灰度发布，这是最全的一篇了！】教程文章相关的互联网学习教程文章

Nginx 实现MySQL的负载均衡

Nginx属于七层架构，支持的是http协议，本身对tcp协议没有支持。所以不能代理mysql等实现负载均衡。但是lvs这个东西不熟悉，主要是公司的的负载均衡都是nginx所以决定研究一下nginx的这个功能实现，下面简单介绍一下实现方法：1.下载module模块下载地址： https://nodeload.github.com/yaoweibin/nginx_tcp_proxy_module/zipball/master $ wget ‘http://nginx.org/download/nginx-1.2.1.tar.gz‘ $ tar -xzvf ngin...

负载均衡RH6(band)RH7(team)

负载均衡RH6(band)RH7(team)BANDcp ifcf-eth0 ifcf-band0vim ifcfg-eth0MASTER=band0SLAVE=yesvim ifcfg-eth1MASTER=band0SLAVE=yesvim ifcfg-band0DEVICE=band0ONBOOT=yesTYPE=EthernetIPADDR=172.25.0.100GATEWAY=172.25.254.254NETMASK=255.255.255.0NAME=band0ethtool bond0bond配置文件/etc/modprobe.d/modprobe.conftouch /etc/modprobe.d/modprobe.confvim /etc/modprobe.d/modprobe.conf[root@real-server1 modprobe.d]# c...

lvs负载均衡， ipvs的NAT模式，DR模式的实现，【图】

lvs是一种集群技术，采用IP负载均衡技术和基于内容请求分发技术。调度器（Director）具有很好的吞吐率，将请求均衡地转移到不同的服务器上处理，且调度器自动屏蔽掉服务器的故障，从而将一组服务器构成一个高性能的、高可用的虚拟服务器。lvs的用户空间的命令行管理工具为ipvsadm，ipvs是工作在内核中netfilter的INPUT的钩子函数上，对进入的报文在没有进入用户空间前，对这些报文进行操作。lvs的工作类型有四种，分别是lvs-nat，l...

keepalived+nginx双机热备+负载均衡【图】

keepalived+nginx双机热备+负载均衡最近因业务扩展，需要将当前的apache 转为nginx(web), 再在web前端放置nginx(负载均衡)。同时结合keepalived 对前端nginx实现HA。 nginx进程基于于Master+Slave(worker)多进程模型，自身具有非常稳定的子进程管理功能。在Master进程分配模式下，Master进程永远不进行业务处理，只是进行任务分发，从而达到Master进程的存活高可靠性，Slave(worker)进程所有的业务信号都由主进程发出，Slave(wor...

nginx给consul集群配置负载均衡【代码】

upstream consul {server 127.0.0.1:8501;server 127.0.0.1:8502;server 127.0.0.1:8503; } server {listen 80;server_name consul.test.com;#服务域名，需要填写你的服务域名location / {proxy_pass http://consul;#请求转向consul服务器列表proxy_set_header Host $host;proxy_set_header X-Real-IP $remote_addr;proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;} } 原文：https://www.cnblogs.com/dongb...

Linux性能优化实战：负载均衡与CPU使用率（01）【代码】

一、CPU使用率并没有直接关系1、平均负载单位时间内，系统处于可运行状态和不可终端状态的平均进程数也就是平均活跃进程数，它和cpu使用率并没有直接关系，可运行状态：正在使用的cpu或者正在等待cpu的进程不可中断状态进程是正处于内核关键流程中的进程，并且这些流程是不可打断的，比如最常见的是等待硬件设备I/O响应，也就是我们在ps命令中看到的D状态的状态或者中断打断的，这个时候的进程处于不可终端状态，如果此时的进程被...

SharePoint 2013 搭建负载均衡(NLB)【图】

服务器架构（三台虚机：AD和Sql在一台，前端两台）DC、Sql Server，其中包括：AD、DNS、DHCP服务（非必须）；SPWeb01，其中包括：IIS、SharePoint；SPWeb02，其中包括：IIS、SharePoint；简单描述首先，为三台虚拟机安装操作系统，我这里选择的是Windows Server 2012 DataCenter R2版本；其次，配置三台虚拟机，包括修改机器名（可选）、静态IP、关闭防火墙（可选）、关闭IE Enhanced Security Configuration（可选）；这里需要说明...

Nginx学习笔记（三）--- Nginx实现反向代理和配置负载均衡【图】

1.反向代理 2.Nginx反向代理流程图3.安装多个tomcat　　3.1把tomcat的压缩包传到Linux上　　　　3.2 解压tomcat　　3.3 给压缩好的tomcat改个名字用来区分一下　　3.4 同理，安装多个tomcat　　3.5 修改tomcat的端口4.反向代理服务器的的配置　　 5.测试　　启动两个tomcat 　　开启nginx　　注意报错了得加分号　　修改Windows Host文件　　为了区分修改一下tomcat的主页原文：https://www.cnblogs.com/dddyyy/p/...

通过负载均衡器+域名实现容灾切换-（11）深信服负载均衡器

深信服AD系列，10+万~20+万 RMB 可参考：http://top.zol.com.cn/compositor/517/manu_32315.html组网中SINFOR AD设备自身的冗余性：　　两台深信服AD以主备的冗余方式来连接（同站点主备、或两站点主备），处于备份状态的设备采用“心跳线”检测运行的设备的状态，当检测出设备故障时，两台设备就会产生毫秒级切换，备份设备会切换为运行主机，为用户提供服务，保证系统的高可用性。SINFOR AD的负载均衡算法：轮询：将所有网络链路...

LVS负载均衡群集（三种工作模式原理详解）【图】

LVS负载均衡群集（三种工作模式原理详解）一、前言? 在互联网应用中，随着站点对硬件性能、响应速度、服务稳定性、数据可靠性等要求越来越高，单台服务器力不从心。所以我们需要通过一些方法来解决这样的瓶颈。? 最简单的方法就是使用价格昂贵的大、小型的主机；但这样在大多数企业中显然是不可取或者说不现实的。那么我们就需要通过多个普通服务器构建服务器群集。二、相关概念概述2.1何为LVS？? LVS——Linux Virtual Ser...

LVS，Nginx及HAProxy三种负载均衡器比较【代码】【图】

一、简述：目前，在线上环境中应用较多的负载均衡器硬件有F5 BIG-IP,软件有LVS，Nginx及HAProxy,apache,高可用软件有Heartbeat、Keepalived，成熟的架构有LVS+Keepalived、Nginx+Keepalived、HAProxy+hearbeat二、三种负载均衡器的优缺点：lvs优点：1.抗负载能力强，工作在第4层仅作分发之用没有流量的产生。这个特点也决定了它在负载均衡软件里的性能最强的；无流量，同时保证了均衡器IO的性能不会受到大流量的影响。2.自身有完...

nginx+tomcat负载均衡实验【代码】【图】

导言：本次实验，tomcat就直接使用录原生的主页，只是简单修改主页识别主机，nginx也是直接在欢迎页上面修改的，直接实现负载均衡。主机1：192.168.100.156 nginx+tomcat主机2：192.168.100.157 tomcat 安装启动tomcat主机1下载安装包#打开下载目录 cd /home/download#下载tar包 wget http://mirrors.hust.edu.cn/apache/tomcat/tomcat-8/v8.5.24/bin/apache-tomcat-8.5.24.tar.gzTomcat7官网下载地址：https://tomcat.apache.org/...

Nginx负载均衡和防爬虫策略【代码】

Nginx负载均衡和防爬虫策略vim langba888.confupstream langba888 {#每60s进行一次健康检测，检测2次失败，则进行剔除server 192.168.137.52:888 max_fails=2 fail_timeout=60s;server 192.168.137.48:888 max_fails=2 fail_timeout=60s;}server {listen 9999;#防止爬虫策略if ($http_user_agent ~* "WordPress") { return 502;}if ($http_user_agent ~* "spider") {return 502; }location / {proxy_pass http://langba8...

LVS 负载均衡 ------ DR模式 + Keepalived【代码】【图】

文章目录一、keepalived（1）keepalived是什么（2）keepalived工作原理二、配置步骤：第一步：配置两台 DR第二步：配置第一台节点服务器 web1第三步：配置第二台节点服务器 web2第四步：客户端测试第五步：部署 keepalived第六步：实验结果验证一、keepalived ：（1）keepalived是什么keepalived是集群管理中保证集群高可用的一个服务软件，其功能类似于heartbeat，用来防止单点故障。1、keepalived的三个核心模块：core核心模块c...

5.5 Nginx 负载均衡【代码】【图】

ip_hash语法：ip_hash 默认值：none 使用字段：upstream 这个指令将基于客户端连接的IP地址来分发请求。哈希的关键字是客户端的C类网络地址，这个功能将保证这个客户端请求总是被转发到一台服务器上，但是如果这台服务器不可用，那么请求将转发到另外的服务器上，这将保证某个客户端有很大概率总是连接到一台服务器。无法将权重（weight）与ip_hash联合使用来分发连接。如果有某台服务器不可用，你必须标记其为“down”，如下例:up...

负载均衡 - 相关标签

负载均衡策略负载均衡服务器负载均衡器负载均衡算法

负载均衡 - 最热教程

Nginx+Tomcat负载均衡之session问题 Nginx 负载均衡的Cache缓存批量清理的操...Docker：docker部署mysql5.7.21集群搭建...SqlServer横向扩展负载均衡终极利器Sql...laravelsession负载均衡 nginx+docker同一服务器上部署多个dock...4.CentOS7下双网卡实现负载均衡 win10 docker部署nginx对dotnetcore应用...Nginx做负载均衡无法加载css，js张宴f5...PHP实现负载均衡下的session共用功能

首页 / 负载均衡 / 【Nginx】实现负载均衡、限流、缓存、黑白名单和灰度发布，这是最全的一篇了！

【Nginx】实现负载均衡、限流、缓存、黑白名单和灰度发布，这是最全的一篇了！

内容导读

内容图文

Nginx安装

1.安装依赖环境

2.安装openssl

3.安装pcre

4.安装zlib

5.安装Nginx

Nginx负载均衡配置

1.负载均衡配置

2.失败重试配置

Nginx限流配置

1.配置参数

2.设置限流

3.不限流白名单

Nginx缓存配置

1.浏览器缓存

2.代理层缓存

Nginx黑名单

1.一般配置

2. Lua+Redis动态黑名单(OpenResty)

Nginx灰度发布

1.根据Cookie实现灰度发布

2.根据来路IP实现灰度发布

3.更细粒度灰度发布

相关推荐

内容总结

内容备注

内容手机端

【【Nginx】实现负载均衡、限流、缓存、黑白名单和灰度发布，这是最全的一篇了！】教程文章相关的互联网学习教程文章

NGINX - 相关标签

负载均衡 - 相关标签

缓存 - 相关标签

负载均衡 - 最新教程

负载均衡 - 最热教程