腾讯T4整理Netty思维导图。百万级推送服务设计要点一文解决

1.介绍

Netty是由JBOSS提供的一个java开源框架。

Netty是一个高性能、异步事件驱动的NIO框架,它提供了对TCP、UDP和文件传输的支持。作为当前最流行的NIO框架,Netty在互联网领域、大数据分布式计算领域、游戏行业、通信行业等获得了广泛的应用,一些业界著名的开源组件也基于Netty的NIO框架构建

关于Netty,给大家构建一张思维导图

腾讯T4整理Netty思维导图。百万级推送服务设计要点一文解决

 

2.Netty的特点

  • 高并发

Netty是一款基于NIO(Nonblocking I/O,非阻塞IO)开发的网络通信框架,对比于BIO(Blocking I/O,阻塞IO),他的并发性能得到了很大提高 。

  • 传输快

Netty的传输快其实也是依赖了NIO的一个特性——零拷贝。

  • 封装好

Netty封装了NIO操作的很多细节,提供易于使用的API。

为什么选择Netty

JDK 原生也有一套网络应用程序 API,但是存在一系列问题,主要如下:

1)NIO 的类库和 API 繁杂,使用麻烦:你需要熟练掌握 Selector、ServerSocketChannel、SocketChannel、ByteBuffer 等。

2)需要具备其他的额外技能做铺垫:例如熟悉 Java 多线程编程,因为 NIO 编程涉及到 Reactor 模式,你必须对多线程和网路编程非常熟悉,才能编写出高质量的 NIO 程序。

3)可靠性能力不齐,开发工作量和难度都非常大:例如客户端面临断连重连、网络闪断、半包读写、失败缓存、网络拥塞和异常码流的处理等等。NIO 编程的特点是功能开发相对容易,但是可靠性能力补齐工作量和难度都非常大。

4)JDK NIO 的 Bug:例如臭名昭著的 Epoll Bug,它会导致 Selector 空轮询,最终导致 CPU 100%。官方声称在 JDK 1.6 版本的 update 18 修复了该问题,但是直到 JDK 1.7 版本该问题仍旧存在,只不过该 Bug 发生概率降低了一些而已,它并没有被根本解决。

Netty框架的优势

  • API使用简单,开发门槛低;
  • 功能强大,预置了多种编解码功能,支持多种主流协议;
  • 定制能力强,可以通过ChannelHandler对通信框架进行灵活地扩展;
  • 性能高,通过与其他业界主流的NIO框架对比,Netty的综合性能最优;
  • 成熟、稳定,Netty修复了已经发现的所有JDK NIO BUG,业务开发人员不需要再为NIO的BUG而烦恼;
  • 社区活跃,版本迭代周期短,发现的BUG可以被及时修复,同时,更多的新功能会加入;
  • 经历了大规模的商业应用考验,质量得到验证。在互联网、大数据、网络游戏、企业应用、电信软件等众多行业得到成功商用,证明了它已经完全能够满足不同行业的商业应用了。

Netty的架构设计

总体结构

Netty 采用了比较典型的三层网络架构进行设计,逻辑架构图如下所示:

腾讯T4整理Netty思维导图。百万级推送服务设计要点一文解决

 

1)传输服务:支持 BIO 和 NIO;

2)容器集成:支持 OSGI、JBossMC、Spring、Guice 容器;

3)协议支持:HTTP、Protobuf、二进制、文本、WebSocket 等一系列常见协议都支持。还支持通过实行编码解码逻辑来实现自定义协议;

4)Core 核心:可扩展事件模型、通用通信 API、支持零拷贝的 ByteBuf 缓冲对象。

Netty的高性能设计

1.高性能的三大要素

1) 传输:用什么样的通道将数据发送给对方,BIO、NIO或者AIO,IO模型在很大程度上决定了框架的性能。

2) 协议:采用什么样的通信协议,HTTP或者内部私有协议。协议的选择不同,性能模型也不同。相比于公有协议,内部私有协议的性能通常可以被设计的更优。

3) 线程:数据报如何读取?读取之后的编解码在哪个线程进行,编解码后的消息如何派发,Reactor线程模型的不同,对性能的影响也非常大。

2.IO模型

Netty的I/O模型基于非阻塞I/O实现,底层依赖的是JDK NIO框架的Selector。

3.Reactor线程模型

1)Reactor单线程模型

2)Reactor多线程模型

3)主从Reactor多线程模型

Netty的线程模型基于Reactor,Reactor的核心在于事件分发,它有三种经典的线程模型(单线程模型,多线程>模型,主从多线程模型)

 

事件循环机制(EventLoop)

而提到上面的性能中的线性模型,就不得不提到另外一个点,相信有朋友已经猜到了,对,就是事件循环机制

Netty线程模型中一个非常重要的概念: 事件循环机制(EventLoop)这个概念在JS上体现的也非常淋漓尽致,下面在开始介绍netty的线程模型之前,允许我简单的介绍下事件循环机制在JS中的体现

JS的语言性质: 单线程非阻塞,单线程意味着,js代码在执行的任何时候,都只有一个主线程来处理所有的任务>。非阻塞则意味着,在进行异步IO任务时不会阻塞主线程,主线程会挂起这个任务,等待异步任务完成再执行对应>的回调。

那么JS是如何实现单线程非阻塞的呢?JS引擎遇到一个异步事件后并不会一直等待其返回结果,而是会将此事件挂起(例如交给浏览器去执行请求),主线程会继续执行方法栈中的其他任务。之后当异步任务返回结果后,(可能是浏览器?)会将回调函数加入到事件队列(Task Queue)中,那么什么时候会从事件队列中取出回调函数执行呢?当前执行栈中的所有任务都执行完毕,主线程处于闲置状态时会去查找事件队列是否有任务待执行,如果有则>将回调函数加入到主线程的方法执行栈中执行,如此反复,我们就把这个循环过程称为事件循环机制(EventLoop)。

 


不知道介绍了JS的事件循环机制,大家有没有对Event Loop有了一个初步的认识,下面我将会着重介绍我们主角Netty的线程模型及其与Event Loop的联系

Netty线程模型

Netty的线程模型基于Reactor,Reactor的核心在于事件分发,它有三种经典的线程模型(单线程模型,多线程>模型,主从多线程模型),下面我们会结合Netty的EventLoop机制一一介绍

Reactor单线程模型

单线程模型全局只有一个线程在工作,也就意味着请求的接收,分发,IO读取写入等操作都在一个线程中完成,该>模型算得上是最经典的线程模型了,例如redis也是采用的此种单线程模型了。

腾讯T4整理Netty思维导图。百万级推送服务设计要点一文解决

 

可以看到上图中,我们把一个Reactor线程可以认为是一个EventLoop IO线程,一个事件循环机制。

由于其线程中的IO读写都是基于NIO,理论上所有的IO读写操作都不会阻塞EventLoop线程。所以即使是改善线程>模型,也是足以应付绝大多数的场景。

那么为什么又会延伸出Reactor多线程模型呢?当应用并发量非常大时,例如一个Reactor NIO 线程需要同时处理成百上千的连接时,虽然IO读写是非阻塞的,>但是消息的编码解码都是需要同步阻塞的,这就导致NIO线程处理速度变慢,最终导致消息积压,出现性能瓶颈。

基于以上原因也就演进出了第二种模型Reactor多线程模型

Reactor多线程模型

Reactor多线程模型与Reactor单线程模型最大的区别就是,有一组Reactor NIO线程(也就是一组 EventLoop)来处理IO操作

腾讯T4整理Netty思维导图。百万级推送服务设计要点一文解决

 

通过上图,可以比较清晰的看到,IO的读写操作都由一个Reactor NIO线程池(对应到EventLoop也就是EventLoopGroup)来完成的,而请求的监听和Accept则是由另一个单独的Reactor线程来完成。注意Reactor NIO线程池中的每一个线程都是处理N条链路,但是一个链路只能有一个线程来处理多线程的Reactor模型可以满足绝大部分的应用场景,通常情况下,我们使用Netty使用这种线程模型就OK(创建>两个NioEventLoopGroup,bossGroup大小为1,workGroup大小为CPU*2)。但是有可能会存在某些极少数的情况,一个Reactor线程处理请求的Accept可能会产生性能瓶颈,例如上百万的并发连接请求。这时候我们可能就需要采用第三种模型Reactor主从多线程模型

Reactor主从多线程模型

Reactor主从多线程模型和Reactor多线程模型的区别在于原本是一个Reactor线程处理请求的Accept,变成了一组Reactor线程。

腾讯T4整理Netty思维导图。百万级推送服务设计要点一文解决

 

对于Reactor主从多线程模型,其实大多数情况下我们并不需要。即使我们给BossGroup指定了多个线程,最终也>只会选择其中的一个作为Accepor的NIO线程,除非在服务端绑定了多个端口的情况下才会启用BossGroup的多个线

Netty的核心组件

Netty应用中必不可少的组件:

  • Bootstrap or ServerBootstrap
  • EventLoop
  • EventLoopGroup
  • ChannelPipeline
  • Channel
  • Future or ChannelFuture
  • ChannelInitializer
  • ChannelHandler

1.Bootstrap

一个Netty应用通常由一个Bootstrap开始,它主要作用是配置整个Netty程序,串联起各个组件。

Handler,为了支持各种协议和处理数据的方式,便诞生了Handler组件。Handler主要用来处理各种事件,这里的事件很广泛,比如可以是连接、数据接收、异常、数据转换等。

2.ChannelInboundHandler

一个最常用的Handler。这个Handler的作用就是处理接收到数据时的事件,也就是说,我们的业务逻辑一般就是写在这个Handler里面的,ChannelInboundHandler就是用来处理我们的核心业务逻辑。

3.ChannelInitializer

当一个链接建立时,我们需要知道怎么来接收或者发送数据,当然,我们有各种各样的Handler实现来处理它,那么ChannelInitializer便是用来配置这些Handler,它会提供一个ChannelPipeline,并把Handler加入到ChannelPipeline。

4.ChannelPipeline

一个Netty应用基于ChannelPipeline机制,这种机制需要依赖于EventLoop和EventLoopGroup,因为它们三个都和事件或者事件处理相关。

EventLoops的目的是为Channel处理IO操作,一个EventLoop可以为多个Channel服务。

EventLoopGroup会包含多个EventLoop。

5.Channel

代表了一个Socket链接,或者其它和IO操作相关的组件,它和EventLoop一起用来参与IO处理。

6.Future

在Netty中所有的IO操作都是异步的,因此,你不能立刻得知消息是否被正确处理,但是我们可以过一会等它执行完成或者直接注册一个监听,具体的实现就是通过Future和ChannelFutures,他们可以注册一个监听,当操作执行成功或失败时监听会自动触发。

总之,所有的操作都会返回一个ChannelFuture。

Netty的应用场景

1.互联网行业

在分布式系统中,各个节点之间需要远程服务调用,高性能的RPC框架必不可少,Netty作为异步高性能的通信框架,往往作为基础通信组件被这些RPC框架使用。

典型的应用有:阿里分布式服务框架Dubbo的RPC框架使用Dubbo协议进行节点间通信,Dubbo协议默认使用Netty作为基础通信组件,用于实现各进程节点之间的内部通信。

除了 Dubbo 之外,淘宝的消息中间件 RocketMQ 的消息生产者和消息消费者之间,也采用 Netty 进行高性能、异步通信。

2.游戏行业

无论是手游服务端还是大型的网络游戏,Java语言得到了越来越广泛的应用。Netty作为高性能的基础通信组件,它本身提供了TCP/UDP和HTTP协议栈。

非常方便定制和开发私有协议栈,账号登录服务器,地图服务器之间可以方便的通过Netty进行高性能的通信

3.大数据领域

经典的Hadoop的高性能通信和序列化组件Avro的RPC框架,默认采用Netty进行跨界点通信,它的Netty Service基于Netty框架二次封装实现。

 


到这里也洋洋洒洒写了5000字了,对于netty,比较重要的两个技术点:事件循环机制以及Reactor线程模型基本介绍完了,不知道大家看的怎么样呢?要是感觉有点印象但是还迷迷糊糊的,也没关系,给大家分享一份资料,包括面试和学习文档(注:面试题对应学习文档,答案看不明白可以去学习文档中参考)

由于篇幅限制这里只能给大家把内容部分截取出来,因为此书籍和面试资料是为内部资料,需要获取完整电子版书籍的读者朋友们可以关注本人,后台私信:“Netty”免费领取。

基础篇

腾讯T4整理Netty思维导图。百万级推送服务设计要点一文解决

 

入门篇

腾讯T4整理Netty思维导图。百万级推送服务设计要点一文解决

 

中级篇

腾讯T4整理Netty思维导图。百万级推送服务设计要点一文解决

 

高级篇

腾讯T4整理Netty思维导图。百万级推送服务设计要点一文解决

 

源码解读

腾讯T4整理Netty思维导图。百万级推送服务设计要点一文解决

 

行业应用

腾讯T4整理Netty思维导图。百万级推送服务设计要点一文解决

 

面试

面试题因为每道题都附有答案,所以只截取部分的面试题和答案

腾讯T4整理Netty思维导图。百万级推送服务设计要点一文解决

 

 

好了,觉得这篇文章对你的学习有帮助的,欢迎点赞+关注,

关注公众号:Java架构师联盟,每日更新技术好文

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章