十分钟搞懂Java限流及常见方案

该文产品目录

开闭基本原理

QPS和通话量掌控

传输率

双色成员名单

分布式系统自然环境

开闭计划常用演算法

副本桶演算法

漏桶演算法

翻转询问处

常用的开闭计划

Nginx开闭

开发工具开闭

开闭模块

正当性校正开闭

Guawa开闭

交换机层开闭

从构架层次考量开闭结构设计

具体内容的同时实现开闭的方式：

Tomcat开闭

对通常的开闭情景而言它具备三个层次的重要信息：

天数 开闭如前所述某段天数覆盖范围或是某一天数点，也是他们常说的“天数询问处”，比如说对每秒钟、每秒的时间询问处做限量发行

资源 如前所述可用资源的限制，比如说设定最大访问次数，或最高可用通话量

上面三个层次结合起来看，开闭是在某一天数询问处对资源访问做限制，比如说设定每秒最多100个访问请求。但在真正的情景里，他们不止设置一种开闭规则，而是会设置多个开闭规则共同作用，主要的几种开闭规则如下：

QPS和通话量掌控

对于通话量和QPS)开闭而言，他们可设定IP层次的开闭，也可以设置如前所述单个服务器的开闭。

在真实自然环境中通常会设置多个层次的开闭规则，比如说设定同一个IP每秒访问频率小于10，通话量小于5，再设定每台机器QPS最高1000，通话量最大保持200。更进一步，他们可以把某一服务器组或整个机房的服务器当做一个整体，设置更high-level的开闭规则，这些所有开闭规则都会共同作用于流量掌控。

传输率

对于“传输率”大家都不会陌生，比如说资源的下载速度。有的网站在这方面的开闭逻辑做的更细致，比如说普通注册用户下载速度为100k/s，购买会员后是10M/s，这背后是如前所述用户组或是用户标签的开闭逻辑。

双色成员名单

双色成员名单是各个大型企业应用里很常用的开闭和放行方式，而且双色成员名单往往是动态变化的。举个例子，如果某一IP在一段时间的访问次数过于频繁，被系统识别为机器人用户或流量攻击，那么这个IP就会被加入到黑成员名单，从而限制其对系统资源的访问，这是他们俗称的“封IP”。

他们平时见到的爬虫程序，比如说说爬知乎上的美女图片，或是爬券商系统的股票分时重要信息，这类爬虫程序都必须同时实现更换IP的功能，以防被加入黑成员名单。

有时他们还会发现公司的网络无法访问12306这类大型公共网站，这也是因为某些公司的出网IP是同一个地址，因此在访问量过高的情况下，这个IP地址就被对方系统识别，进而被添加到了黑成员名单。使用家庭宽带的同学们应该知道，大部分网络运营商都会将用户分配到不同出网IP段，或是时不时动态更换用户的IP地址。

白成员名单就更好理解了，相当于御赐金牌在身，可以自由穿梭在各种开闭规则里，畅行无阻。比如说某些电商公司会将超大卖家的账号加入白成员名单，因为这类卖家往往有自己的一套运维系统，需要对接公司的IT系统做大量的商品发布、补货等等操作。

分布式系统环境

分布式系统区别于单机开闭的情景，它把整个分布式系统自然环境中所有服务器当做一个整体来考量。比如说说针对IP的开闭，他们限制了1个IP每秒最多10个访问，不管来自这个IP的请求落在了哪台机器上，只要是访问了集群中的服务节点，那么都会受到开闭规则的制约。

交换机层开闭 将开闭规则应用在所有流量的入口处

sentinel，springcloud生态圈为微服务量身打造的一款用于分布式系统开闭、熔断降级等模块

Token Bucket副本桶演算法是目前应用最为广泛的开闭演算法，顾名思义，它有以下三个关键角色：

quest才会被处理，其他Requests要么排队要么被直接丢弃

副本生成

这个流程涉及到副本生成器和副本桶，前面他们提到过副本桶是一个装副本的地方，既然是个桶那么必然有一个容量，也是说副本桶所能容纳的副本数量是一个固定的数值。

对于副本生成器而言，它会根据一个预定的速率向桶中添加副本，比如说他们可以配置让它以每秒100个请求的速率发放副本，或是每秒钟50个。注意这里的发放速度是匀速，也是说这50个副本并非是在每个天数询问处刚开始的时候一次性发放，而是会在这个天数询问处内匀速发放。

在副本发放器是一个水龙头，假如在下面接水的桶子满了，那么自然这个水（副本）就流到了外面。在副本发放过程中也一样，副本桶的容量是有限的，如果当前已经放满了额定容量的副本，那么新来的副本就会被丢弃掉。

缓冲队列其实是一个可选的选项，并不是所有

当队列已满的情况下，这部分访问请求将被丢弃。在实际应用中他们还可以给这个队列加一系列的特效，比如说设置队列中请求的存活天数，或是将队列改造为PriorityQueue，根据某种优先级排序，而不是先进先出。

漏桶演算法

Leaky Bucket，又是个桶，开闭演算法是跟桶杠上了，那么漏桶和副本桶有什么不同呢,

漏桶演算法的前半段和副本桶类似，但是操作的对象不同，副本桶是将副本放入桶里，而漏桶是将访问请求的数据包放到桶里。同样的是，如果桶满了，那么后面新来的数据包将被丢弃。

漏桶演算法的后半程是有鲜明特色的，它永远只会以一个恒定的速率将数据包从桶内流出。打个比方，如果我设置了漏桶可以存放100个数据包，然后流出速度是1s一个，那么不管数据包以什么速率流入桶里，也不管桶里有多少数据包，漏桶能保证这些数据包永远以1s一个的恒定速度被处理。

漏桶 vs 副本桶的区别

根据它们各自的特点不难看出来，这两种演算法都有一个“恒定”的速率和“不定”的速率。副本

从这三个特点而言，漏桶的天然特性决定了它不会发生突发流量，就算每秒1000个请求到来，那么它对后台服务输出的访问速率永远恒定。而副本桶则不同，其特性可以“预存”一定量的副本，因此在应对突发流量的时候可以在短天数消耗所有副本，其突发流量处理效率会比漏桶高，但是导向后台系统的压力也会相应增多。

翻转询问处

比如说说，他们在每一秒内有5个用户访问，第5秒内有10个用户访问，那么在0到5秒这个天数询问处内访问量是15。如果他们的接口设置了天数询问处内访问上限是20，那么当天数到第六秒的时候，这个天数询问处内的计数总和就变成了10，因为1秒的格子已经退出了天数询问处，因此在第六秒内可以接收的访问量是20-10=10个。

翻转询问处其实也是一种计算器演算法，它有一个显著特点，当天数询问处的跨度越长时，开闭效果就越平滑。打个比方，如果当前天数询问处只有两秒，而访问请求全部集中在第一秒的时候，当天数向后翻转一秒后，当前询问处的计数量将发生较大的变化，拉长天数询问处可以降低这种情况的发生概率

常用的开闭计划 正当性校正开闭

比如说校正码、IP 黑成员名单等，这些方式可以有效的防止恶意攻击和爬虫采集；

Guawa开闭

在开闭领域中，Guava在其多线程模块下提供了以RateLimiter为首的几个开闭支持类，但是作用覆盖范围仅限于“当前”这台服务器，也是说Guawa的开闭是单机的开闭，跨了机器或是jvm进程就无能为力了 比如说说，目前我有2台服务器[Server 1，Server 2]，这两台服务器都部署了一个登陆服务，假如我希望对这两台机器的流量进行掌控，比如说将两台机器的访问量总和掌控在每秒20以内，如果用Guava来做，只能独立掌控每台机器的访问量<=10。

尽管Guava不是面对分布式系统系统的解决计划，但是其作为一个简单轻量级的客户端开闭模块，非常适合来讲解开闭演算法

交换机层开闭

服务交换机，作为整个分布式系统链路中的第一道关卡，承接了所有用户来访请求，因此在交换机层面进行开闭是一个很好的切入点 上到下的路径依次是：

用户流量从交换机层转发到后台服务

缓存中无数据，则访问数据库

流量自上而下是逐层递减的，在交换机层聚集了最多最密集的用户访问请求，其次是后台服务。

然后经过后台服务的校正逻辑之后，刷掉了一部分错误请求，剩下的请求落在缓存上，如果缓存中没有数据才会请求漏斗最下方的数据库，因此数据库层面请求数量最小（相比较其他模块而言数据库往往是并发量能力最差的一环，阿里系的MySQL即便经过了大量改造，单机并发量也无法和Redis、Kafka之类的模块相比）

目前主流的交换机层有以软件为代表的Nginx，还有Spring Cloud中的Gateway和Zuul这类交换机层模块

Nginx开闭

在系统构架中，Nginx的代理与路由转发是其作为交换机层的一个很重要的功能，由于Nginx天生的轻量级和优秀的结构设计，让它成为众多公司的首选，Nginx从交换机这一层面考虑，可以作为最前置的交换机，抵挡大部分的网络流量，因此使用Nginx进行开闭也是一个很好的选择，在Nginx中，也提供了常用的如前所述开闭相关的策略配置.

Nginx 提供了两种开闭方法：一种是掌控速率，另一种是掌控并发通话量。

掌控速率

他们需要使用 limit_req_zone 用来限制单位天数内的请求数，即速率限制，

因为Nginx的开闭统计是如前所述毫秒的，他们设置的速度是 2r/s，转换一下是500毫秒内单个IP只允许通过1个请求，从501ms开始才允许通过第2个请求。

掌控速率优化版

上面的速率掌控虽然很精准但是在生产自然环境未免太苛刻了，实际情况下他们应该掌控一个IP单位总天数内的总访问次数，而不是像上面那样精确到毫秒，他们可以使用 burst 关键字开启此设置

burst=4意思是每个IP最多允许4个突发请求

掌控并发数

利用 limit_conn_zone 和 limit_conn 三个指令即可掌控并发数

其中 limit_conn perip 10 表示限制单个 IP 同时最多能持有 10 个连接；limit_conn perserver 100 表示 server 同时能处理并发连接的总数为 100 个。

开发工具开闭

对于分布式系统自然环境而言，无非是需要一个类似中心节点的地方存储开闭数据。打个比方，如果我希望掌控接口的访问速率为每秒100个请求，那么我就需要将当前1s内已经接收到的请求的数量保存在某一地方，并且可以让集群自然环境中所有节点都能访问。那他们可以用什么技术来存储这个临时数据呢？

那么想必大家都能想到，必然是redis了，利用Redis过期天数特性，他们可以轻松设置开闭的天数跨度（比如说每秒10个请求，或是每10秒10个请求）。同时Redis还有一个特殊技能–脚本编程，他们可以将开闭逻辑编写成一段脚本植入到Redis中，这样就将开闭的重任从服务层完全剥离出来，同时Redis强大的并发量特性以及高可用集群构架也可以很好的支持庞大集群的开闭访问。【reids + lua】

开闭模块

除了上面介绍的几种方式以外，目前也有一些开源模块提供了类似的功能，比如说Sentinel是一个不错的选择。Sentinel是阿里出品的开源模块，并且包含在了Spring Cloud Alibaba模块库中，Sentinel提供了相当丰富的用于开闭的API以及可视化管控台，可以很方便的帮助他们对开闭进行治理

从构架层次考量开闭结构设计

在真实的项目里，不会只使用一种开闭方式，往往是几种方式互相搭配使用，让开闭策略有一种层次感，达到资源的最大使用率。在这个过程中，开闭策略的结构设计也可以参考前面提到的漏斗模型，上宽下紧，漏斗不同部位的开闭计划结构设计要尽量关注当前模块的高可用。

以我参与的实际项目为例，比如说说他们研发了一个商品详情页的接口，通过手机淘宝导流，app端的访问请求首先会经过阿里的mtop交换机，在交换机层他们的开闭会做的比较宽松，等到请求通过交换机抵达后台的商品详情页服务之后，再利用一系列的开发工具+开闭模块，对服务进行更加细致的开闭掌控

具体内容的同时实现开闭的方式

1）Tomcat 使用 maxThreads来同时实现开闭。

2）Nginx的limit_req_zone和 burst来同时实现速率开闭。

3）Nginx的limit_conn_zone和 limit_conn三个指令掌控并发连接的总数。

4）天数询问处演算法借助 Redis的有序集合可以同时实现。

5）漏桶演算法可以使用Redis-Cell来同时实现。

6）副本演算法可以解决Google的guava包来同时实现。

Tomcat 8.5 版本的最大线程数在 conf/server.xml 配置中，maxThreads 是 Tomcat 的最大线程数，当请求的并发大于此值（maxThreads）时，请求就会排队执行，这样就完成了开闭的目的。

注意：

最后需要注意一下，操作系统对于进程中的线程数有一定的限制，Windows 每个进程中的线程数不允许超过 2000，Linux 每个进程中的线程数不允许超过 1000。