基于OpenResty的单机10万TPS网关在物流业务中的应用

开发 开发工具
OpenResty® 是一个基于 Nginx 与 Lua 的高性能 Web 平台,物流网关就是基于OpenResty构建的,今天就跟大家聊聊 OpenResty 在物流网关的故事。

引言

OpenResty® 是一个基于 Nginx 与 Lua 的高性能 Web 平台,其内部集成了大量精良的 Lua 库、第三方模块以及大多数的依赖项。用于方便地搭建能够处理超高并发、扩展性极高的动态 Web 应用、Web 服务和动态网关。

物流网关就是基于OpenResty构建的,今天就跟大家聊聊 OpenResty 在物流网关的故事。

为什么选择OpenResty

物流网关在建设之初就重点关注性能、稳定性、扩展性以及可持续性。

在技术选型阶段重点关注三个方面:

  • 在网络 I/O 模型方面,出于性能的考虑,需要非阻塞的 I/O 模型;
  • 由于物流网关对外提供的是 Http/s 协议,所以需要成熟的支持 Http/s 协议的技术;
  • 这个世界变化很快,只有拥抱好的生态才能促进持续发展。

综合这三方面的需求,发现 OpenResty 是一个很好地选择。

首先,OpenResty 利用协程实现了同步非阻塞的 cosocket,利用 cosocket 既可以享受同步编程的简单,又可以享受非阻塞IO的性能优势。

其次,Nginx 处理 Http/s 请求,目前在业界无人能出其右,性能和稳定性有目共睹。

同时,期望利用插件机制扩展功能。这方面 Kong 这个网关项目(这个项目基于 OpenResty)给出了优秀的参考方案。

插件化扩展方法

物流网关的功能纷繁复杂,核心的组件有安防、认证、限流、协议转换、日志,网关的这些核心功能***都是插件化的,这些插件能够根据不同的商家动态加载和卸载,这样才能满足不同商家的需求。

物流网关的插件机制依赖于 Nginx 处理请求的生命周期模型,安防、认证、限流这三个插件在 Rewrite / Access 阶段动态加载执行,协议转换、负载均衡在 Content 阶段动态加载执行,而日志在 Log 阶段异步处理。

每一个请求都需要根据业务配置动态加载,这些配置存储在 MySQL 数据库中,在高并发场景下,如果每次请求都要访问 MySQL 数据库,那 MySQL 数据库一定会成为瓶颈直至宕机,因此引入多级缓存。

缓存的设计

物流网关采用了多级缓存,首先是利用 ngx.shared.DICT 实现的本地缓存,集中式缓存使用的是 Redis,物流网关并不直接访问数据库,而是通过调用 RPC 服务来访问数据库。

Redis 中的缓存是长期有效的,Redis 和 MySQL 之间的数据同步依赖双写机制,本地缓存和 Redis 的同步同时采用了两种方法,一种是利用Redis实现了一个简单MQ,网关集群节点订阅元数据变更的消息,当有变更时,清空相关的本地缓存;为了容错,本地缓存设置了失效期,这样能够保证数据总是有机会同步到本地缓存。

负载均衡器的设计

物流网关自研了支持 RPC 协议的 Lua 客户端,功能与 Java 版的客户端类似,值得一提的是负载均衡器的设计更加智能,在压测阶段发现,同样规格的 Docker,性能差异非常大,这个差异很可能和宿主机的网络、CPU 负载、内存使用率有关,这个影响因素是动态变化的,因此静态的负载均衡配置(例如轮训、随机、权重等负载均衡策略)难以满足需求,理想的负载均衡器应该能够根据 RPC 服务负载来动态调整流量分发。

物流网关的调度算法选用的是最小连接数调度算法,类似于大家去超市排队结账,总是选取长度最少的队伍。连接数的计算是这样的:发送请求的时候连接数+1,响应返回或者异常的时候连接数-1。

json 跨语言的坑

Json 作为一种成熟的序列化方案,已经存在很久了,但是在跨语言方面 Json 并不成熟,A == json.decode(A).encode 在跨语言的时候并不是总能成立。例如对于二进制的序列化,在 Java 里都是将它转换成 base64 的字符串,例如 0X3F 会被序列化成”/”,OpenResty 自带的 cjson 会把“/”反序列化成字符串“/”,至此都没有问题,但是 cjson 序列化字符串“/”时,得到的却是“\/”,因为按照 json 规范“/”是需要被转义的。最终结果就是网关的输入是“/”输出却是“\/”。

所以物流网关自研了无损的 json 序列化组件,完全在字符串基本上操作 json,这样就避免了类型转换带来的问题。下图是一个 json 字符的解析过程。

性能优化

OpenResty 提供了优秀的性能分析工具,可以在运行时对系统采样,并生成火焰图,通过火焰图可以快速定位性能瓶颈出现在哪行代码。物流网关在单机全链路压测中 TPS 能够到达10万,将硬件性能发挥到了***。

[[256341]]

总结

目前,物流网关作为京东物流开放技术平台的核心服务,支撑了所有 Http/s 协议的开放业务,已经平稳度过2018年的618全球年中购物节以及11.11全球好物节。借助 Lua 优秀的表达能力,以及插件化机制,物流网关近一年实现了功能的快速演进,真正做到了快速响应业务发展。

【本文来自51CTO专栏作者张开涛的微信公众号(开涛的博客),公众号id: kaitao-1234567】 

戳这里,看该作者更多好文

责任编辑:赵宁宁 来源: 51CTO专栏
相关推荐

2020-05-14 21:45:46

物流业物联网应用物联网

2019-08-16 08:41:00

微服务架构安全

2020-07-07 08:20:57

物联网数据技术

2023-01-06 00:16:36

2023-08-14 15:46:55

2022-05-20 17:11:20

人工智能区块链自动驾驶

2018-04-02 23:02:59

物联网物流业互联网

2020-10-10 10:37:54

微服务架构技术API

2009-12-15 16:47:55

博科资讯物流

2017-05-10 10:38:46

物流互联网智慧物流

2019-09-24 08:52:49

工业网关工业物联网IIOT

2020-05-06 07:53:09

物联网物流IOT

2023-05-25 19:17:54

2023-03-17 14:34:38

2022-11-29 19:44:47

WebOpenResty防火墙

2021-11-23 06:02:20

APIOpenResty网关

2014-12-08 16:17:37

2013-05-31 15:53:51

iCoremail企业邮箱物流业

2022-02-15 10:48:33

物流大数据商业智能

2019-09-24 08:44:09

OpenrestyAPI网关
点赞
收藏

51CTO技术栈公众号