故障转移,服务发现,负载均衡,居然都和它有关!!!

开发 开发工具 架构
上层调用方,除了会从连接池中拿连接收发报文访问下游服务外,互联网架构中,还有哪些技术点与连接池相关呢?

没错,说的就是连接池,玩互联网架构,连接池是必须要掌握的。

什么是连接池?

创建与管理连接缓冲池的技术,本质是资源复用,不用频繁创建与销毁连接,能提高性能。

画外音:数据库连接池,服务连接池,都是连接池。

微服务分层架构中,连接池扮演着极其重要的角色。

如上图:

  • 上层虚线框,是web集群;
  • 下层虚线框,是service集群;
  • 绿色框,代表一条上下游建立的连接;
  • 蓝色框,代表连接池;

此例中,一个调用方会与一个服务节点建立2条连接,服务集群共3个集群,故连接池总共6条连接,从c1到c6。

上层调用方,除了会从连接池中拿连接收发报文访问下游服务外,互联网架构中,还有哪些技术点与连接池相关呢?

一、故障转移与服务发现

如上图:

  • 故障转移,假如旧的服务节点s1出现了故障,c1和c2连接失效,会被从连接池中剔除,后续请求不会再发送到故障的节点中;
  • 服务发现,假如新的服务节点s4上线,c7和c8连接建立,会被加入到连接池中来,后续请求会发送到新增的节点中;

动态删除连接与新增连接,这就是动态连接池。

服务发现,如何感知到新的节点s4上线呢?详见《改了配置,不想重启,怎么整?》。

二、负载均衡

采用轮询的策略,逐个使用连接池中的连接,可以实现对下游服务访问的负载均衡。

采用完全随机的策略,也能实现负载均衡。

如上图:

给每个连接一个相同的权重,取连接访问下游时,采用一个随机算法,落到哪个格子用哪个连接,还是上面的例子:

  1. n = random() % 6 + 1; 

  • n=[1,2],访问s1;
  • n=[3,4],访问s2;
  • n=[5,6],访问s3;

3个区间的宽度相同,即落到某个服务的概率相等,负载是均衡的。

那么,如果服务节点的服务能力有差异,有的处理能力强,有的处理能力弱,怎么办呢?

三、静态权重负载均衡

如上图:

给每个服务配置一个不同的权重,连接池初始化时,不同服务的区间大小有差异,取连接访问下游时,落到某个格子的概率也会有差异:

  1. n = random() % 16 + 1; 

  • n=[1,2],访问s1;
  • n=[3,6],访问s2;
  • n=[7,16],访问s3;

3个区间的宽度与服务的权重成正比,即落到某个服务的概率等同权重。

画外音:nginx就支持这么玩,但静态权重实在太粗暴了。

那么,如果服务节点的服务能力有差异,但又很难用静态权重标识,怎么办呢?

四、动态权重负载均衡

如上图:连接池初始化时,为连接分配一个动态的权重。

画外音:服务不再需要配置了。

仍按照之前的方法分配负载,只是:

  • 连接处理超时,动态权重下降;
  • 连接处理成功,动态权重上升;

更具体的细节,详见《异构服务器的负载均衡,怎么设计?》。

如此一来,就能够根据服务的实际处理能力分配负载了,是不是有点意思?

故障转移,服务发现,负载均衡,静态权重/动态权重负载均衡,你有收获吗?

【本文为51CTO专栏作者“58沈剑”原创稿件,转载请联系原作者】

戳这里,看该作者更多好文

 

责任编辑:赵宁宁 来源: 51CTO专栏
相关推荐

2020-04-15 22:18:55

架构负载均衡分布式

2019-09-19 09:03:13

Docker负载均衡服务

2010-05-05 17:53:56

web负载均衡

2019-09-19 14:57:27

Docker语言技术

2023-10-08 07:15:54

NGINX网关参数

2010-04-22 10:46:40

Lvs负载均衡故障负载均衡器

2017-06-06 12:09:11

2010-04-22 23:33:48

负载均衡设置

2010-04-20 21:12:34

负载均衡解决方案

2023-07-04 07:45:11

gogRPC服务

2019-06-09 09:13:14

Istio负载均衡架构

2010-04-21 14:54:45

负载均衡服务

2015-08-06 09:49:54

网络故障负载均衡

2010-04-22 17:25:24

网络负载均衡

2017-07-03 08:08:25

负载均衡分类

2010-03-30 13:37:14

Nginx负载均衡

2015-08-24 11:02:56

网络故障负载均衡

2010-05-05 18:44:27

服务器负载均衡

2010-05-05 18:28:16

负载均衡服务器

2017-01-23 17:34:28

点赞
收藏

51CTO技术栈公众号