Netty学习之知识储备（1）

一：学习前知识储备

1.1 Socket

• 套接字（socket）是一个抽象层，应用程序可以通过它发送或接收数据，可对其进行像对文件一样的打开、读写和关闭等操作。套接字允许应用程序将I/O插入到网络中，并与网络中的其他应用程序进行通信。网络套接字是IP地址与端口的组合。
• 一种独立于协议的网络编程接口

1.2 IO操作

IO操作包括：对硬盘的读写、对socket的读写以及对外设的读写。
基本的IO操作

分为两个过程：

• DMA（直接内存存取）把数据读取到内核空间的缓冲区(读就绪)
• 内核将数据拷贝到用户空间。

同步IO、异步IO、阻塞IO、非阻塞IO解释

• 同步IO：当用户发出IO请求操作之后，内核会去查看要读取的数据是否就绪，如果数据没有就绪，就一直等待。需要通过用户线程或者内核不断地去轮询数据是否就绪，当数据就绪时，再将数据从内核拷贝到用户空间。
• 异步IO：只有IO请求操作的发出是由用户线程来进行的，IO操作的两个阶段都是由内核自动完成，然后发送通知告知用户线程IO操作已经完成。也就是说在异步IO中，不会对用户线程产生任何阻塞。
• 阻塞IO：当用户线程发起一个IO请求操作（以读请求操作为例），内核查看要读取的数据还没就绪，当前线程被挂起，阻塞等待结果返回。
• 非阻塞IO：如果数据没有就绪，则会返回一个标志信息告知用户线程当前要读的数据没有就绪。当前线程在拿到此次请求结果的过程中，可以做其它事情。

1.3 Java中的NIO

JAVA NIO有两种解释：一种叫非阻塞IO（Non-blocking I/O），另一种也叫新的IO（New I/O），其实是同一个概念。它是一种同步非阻塞的I/O模型，也是I/O多路复用的基础，已经被越来越多地应用到大型应用服务器，成为解决高并发与大量连接、I/O处理问题的有效方式。
NIO主要有三大核心部分： Channel、Buffer、Selector
传统IO是基于字节流和字符流进行操作（基于流），而NIO基于Channel和Buffer(缓冲区)进行操作，数据总是从通道读取到缓冲区中，或者从缓冲区写入到通道中。Selector(选择区)用于监听多个通道的事件（比如：连接打开，数据到达）。因此，单个线程可以监听多个数据通道。

• Channel(通道)：表示到实体
  • 如硬件设备、文件、网络套接字或可以执行一个或多个不同 I/O 操作（如读取或写入）的程序组件的开放的连接。
  • Channel接口的常用实现类有FileChannel（对应文件IO）、DatagramChannel（对应UDP）、SocketChannel和ServerSocketChannel（对应TCP的客户端和服务器端）。
  • Channel和IO中的Stream(流)是差不多一个等级的。只不过Stream是单向的，譬如：InputStream, OutputStream.而Channel是双向的，既可以用来进行读操作，又可以用来进行写操作。
• Buffer(缓冲区)：是一个用于存储特定基本类型数据的容器。
  • 除了boolean外，其余每种基本类型都有一个对应的buffer类。
  • Buffer类的子类有ByteBuffer, CharBuffer, DoubleBuffer, FloatBuffer, IntBuffer, LongBuffer, ShortBuffer 。
• Selector（选择器）：用于监听多个通道的事件（比如：连接打开，数据到达）。
  • 单个的线程可以监听多个数据通道。即用选择器，借助单一线程，就可对数量庞大的活动I/O通道实施监控和维护。

传统的IO处理模式
好处：由于每个Client连接有一个单独的处理线程为其服务，因此可保证良好的响应时间。
缺陷：每一个连接都使用一个线程。当系统负载增大（并发请求增多）时，Server端需要的线程数会增加，对于操作系统来说，线程之间上下文切换的开销很大。占用过多资源

非阻塞的IO处理模式，一个线程管理多个网络连接

NIO服务器端实现非阻塞过程

• 服务器上所有Channel需要向Selector注册，而Selector则负责监视这些Socket的IO状态(观察者)。
• 当其中任意一个或者多个Channel具有可用的IO操作时，该Selector的select()方法将会返回大于0的整数，该整数值就表示该Selector上有多少个Channel具有可用的IO操作，并提供了selectedKeys（）方法来返回这些Channel对应的SelectionKey集合(一个SelectionKey对应一个就绪的通道)。
• 正是通过Selector，使得服务器端只需要不断地调用Selector实例的select()方法即可知道当前所有Channel是否有需要处理的IO操作。注
• ：java NIO就是多路复用IO，jdk7之后底层是epoll模型。参考下图进行理解：
  

1.4 NIO、BIO、AIO对比

• BIO（IO）
  • 同步阻塞，传统io方式。
  • 适用于连接数目比较小且固定的架构，这种方式对服务器资源要求比较高，并发局限于应用中。
• NIO
  • 同步非阻塞，jdk4开始支持。
  • 适用于连接数目多且连接比较短（轻操作）的架构，比如聊天服务器。
• AIO
  • 异步非阻塞，jdk7开始支持。
  • 适用于连接数目多且连接比较长（重操作）的架构。

形象的理解NIO和AIO：如果把内核比作快递，NIO就是你要自己时不时到官网查下快递是否已经到了你所在城市，然后自己去取快递；AIO就是快递员送货上门了。

1.5 服务端案例

package cn.xd.nio;
 
import java.io.IOException;
import java.net.InetSocketAddress;
import java.nio.ByteBuffer;
import java.nio.channels.SelectionKey;
import java.nio.channels.Selector;
import java.nio.channels.ServerSocketChannel;
import java.nio.channels.SocketChannel;
import java.util.Iterator;
import java.util.Set;
 
import com.sun.xml.internal.ws.util.StringUtils;
 
public class NioServer {
 
  public static void main(String[] args) throws Exception {
    // 1、初始化一个ServerSocketChannel
    ServerSocketChannel serverSocketChannel = ServerSocketChannel.open();
    InetSocketAddress inetSocketAddress = new InetSocketAddress("127.0.0.1", 9999);
    serverSocketChannel.configureBlocking(false);// 设置为非阻塞模式，后续的accept()方法会立刻返回
    serverSocketChannel.socket().bind(inetSocketAddress, 1024);// 监听本地9999端口的请求，第二个参数限制可以建立的最大连接数
    Selector selector = Selector.open();
    /**
     * 将通道注册到一个选择器上(非阻塞模式与选择器搭配会工作的更好)
     * 注意register()方法的第二个参数。这是一个“interest集合”，意思是在通过Selector监听Channel时对什么事件感兴趣。
     * 可以监听四种不同类型的事件：OP_CONNECT，OP_ACCEPT，OP_READ，OP_WRITE
     * 如果你对不止一种事件感兴趣，那么可以用“位或”操作符将常量连接起来：SelectionKey.OP_READ | SelectionKey.OP_WRITE
     */
    serverSocketChannel.register(selector, SelectionKey.OP_ACCEPT);
 
    // 2、监听连接请求并处理
    while (true) {
      int connects = selector.select(2000);// 每次最多阻塞2秒
 
      if (connects == 0) {
        System.out.println("没有请求...");
        continue;
      } else {
        System.out.println("请求来了...");
      }
 
      // 获取监听到有连接请求的channel对应的selectionKey
      Set selectedKeys = selector.selectedKeys();
      // 遍历selectionKey来访问就绪的通道
      Iterator selectedKeyIterator = selectedKeys.iterator();
      while (selectedKeyIterator.hasNext()) {
        SelectionKey selectionKey = selectedKeyIterator.next();
        if (selectionKey.isValid()) {
 
          if (selectionKey.isAcceptable()) {// 接收就绪
            ServerSocketChannel channel = (ServerSocketChannel) selectionKey.channel();
            // 返回一个包含新进来的连接SocketChannel，因为前面设置的非阻塞模式，这里会立即返回。
            SocketChannel socketChannel = channel.accept();
            if (socketChannel == null) {
              return;
            }
            socketChannel.configureBlocking(false);
            socketChannel.register(selector, SelectionKey.OP_READ);
            System.out.println("连接建立完成");
            doWrite(socketChannel, "connection is established");// 连接建立完成，给客户端发消息
 
          } else if (selectionKey.isReadable()) {// 读就绪
 
            SocketChannel socketChannel = (SocketChannel) selectionKey.channel();
            ByteBuffer readBuffer = ByteBuffer.allocate(10);
            while ((socketChannel.read(readBuffer)) > 0) {// // 读取客户端发送来的消息
              readBuffer.flip();
              byte[] bytes = new byte[readBuffer.remaining()];
              readBuffer.get(bytes);
              String body = new String(bytes, "utf-8");
              doWrite(socketChannel, body);// 将客户端发送的内容原封不动的发回去
              readBuffer.clear();
            }
            socketChannel.close();//读取数据完毕后关闭连接，如果不关闭一直处于连接状态。
 
          }
        }
 
        selectedKeyIterator.remove(); // 注意每次必须手动remove()，下次该通道变成就绪时，Selector会再次将其放入已选择键集中
      }
    }
  }
 
  private static void doWrite(SocketChannel socketChannel, String response) throws IOException {
    if (StringUtils.isNotBlank(response)) {
      byte[] bytes = response.getBytes();
      ByteBuffer writeBuffer = ByteBuffer.allocate(1024);
      writeBuffer.put(bytes);
      writeBuffer.flip();
      // 发送消息到客户端
      socketChannel.write(writeBuffer);
      writeBuffer.clear();
    }
 
  }
 
}