Linux 零拷贝技术-mmap与sendFile

零拷贝是网络编程的关键, 很多性能优化都离不开

数据角度分析 : 在零拷贝机制中 , 整个数据在内存中只有一份数据 , 非零拷贝机制中 , 内核缓冲区 , 用户缓冲区 , Socket 缓冲区 , 各有一份数据 ;

零拷贝指的是没有 CPU 拷贝 , 都是 DMA ( 直接内存访问 ) 拷贝 ;

零拷贝性能优势 : 没有复制数据带来的内存开销 , 没有 CPU 拷贝 , 直接节省了大量 CPU 计算资源 ;

普通IO方式

普通io读取本地文件,网络发送

File file = new File("index.html");
RandomAccessFile raf = new RandomAccessFile(file, "rw");
byte[] arr = new byte[(int)file.length()];
raf.read(arr);
Socket socket = new ServerSocket(8080).accept();
socket.getOutputStream().write(arr);

在这里插入图片描述

读写文件100M文件,不是分配100M内存,而是分配64k内存循环读写,否则直接分配100M,其他应用就容易被挂起。
send是写内存缓冲区成功,不是写到网络成功,网络可能一直发送不完。所以下次send的时候可能失败,因为buffer满,没发送出去.

下面说说他们的步骤:

  1. read 调用导致用户态到内核态的一次变化,同时,第一次复制开始:DMA(Direct Memory Access,直接内存存取,即不使用 CPU 拷贝数据到内存,而是 DMA 引擎传输数据到内存,用于解放 CPU) 引擎从磁盘读取index.html文件,并将数据放入到内核缓冲区。
  2. 发生第二次数据拷贝,即:将内核缓冲区的数据拷贝到用户缓冲区,同时,发生了一次用内核态到用户态的上下文切换。
  3. 发生第三次数据拷贝,我们调用 write 方法,系统将用户缓冲区的数据拷贝到 Socket 缓冲区。此时,又发生了一次用户态到内核态的上下文切换。
  4. 第四次拷贝,数据异步的从 Socket 缓冲区,使用 DMA 引擎拷贝到网络协议引擎。这一段,不需要进行上下文切换。
  5. write 方法返回,再次从内核态切换到用户态。

从本地磁盘读取数据,通过网络发送出去,用户态和内核态之间需要发生4次切换;数据从磁盘取出来之后,一共要经过4次拷贝

mmap(内存映射)

把磁盘文件映射到内存中,然后把映射到内存的数据通过Socket发送出去。

buf = mmap(file, len);
write(sockfd, buf, len);

在这里插入图片描述

mmap,内存映射,直接将磁盘文件数基于DMA引擎拷贝据映射到内核缓冲区,同时用户缓冲区是跟内核缓冲区共享一块映射数据,建立映射后,不需要从内核缓冲区拷贝到用户缓冲区。可减少一次拷贝。总共是4次切换,3次拷贝。

sendFile

在这里插入图片描述

Linux提供sendfile技术。Kafka中,transferFrom和transferTo方法。

只要2次切换,2次拷贝。

  • 用户态切换到内核态,DMA 引擎从文件拷贝到内核缓冲区,同时从内环缓冲区拷贝一些offset和length数据到socket缓冲区

  • 从内核态切换到用户态,从内核缓冲区直接把数据拷贝到网络协议引擎里去,同时从Socket缓冲区拷贝一些offset和length信息到网络协议引擎里去

offset和length量几乎可以忽略。

零拷贝不仅仅带来更少的数据复制,还能带来其他的性能优势,例如更少的上下文切换,更少的 CPU 缓存伪共享以及无 CPU 校验和计算。

各种框架使用零拷贝案例

kafka 在客户端和 broker 进行数据传输时,会使用 transferTo 和 transferFrom 方法,即对应 Linux 的 sendFile。

tomcat 内部在进行文件拷贝的时候,也会使用 transferto 方法。

tomcat 在处理一下心跳保活时,也会调用该 sendFile 方法。

所以,如果你需要优化网络传输的性能,或者文件读写的速度,请尽量使用零拷贝。它不仅能较少复制拷贝次数,还能较少上下文切换,缓存行污染。

小结

mmap与sendFile区别

  • mmap 用于文件共享,很少用于socket操作,sendfile用于发送文件.
  • mmap 适合小数据量读写,sendFile 适合大文件传输。
  • mmap 需要 4 次上下文切换,3 次数据拷贝;sendFile 需要 2 次上下文切换,最少 2 次数据拷贝。
  • sendFile 可以利用 DMA 方式,减少 CPU 拷贝,mmap 则不能(必须从内核拷贝到 Socket 缓冲区)。

mmap和共享内存的区别:

mmap是共享一个文件,共享内存是共享一段内存。mmap还可以写回到file.

mmap缺点:

mmap 每次读入都是1页即4k,所以少于4k会造成大量内存碎片. 但是通过read,write也是这样的。

mmap适用场景,是取代read,write 文件.

使用mmap+write方式

优点:即使频繁调用,使用小文件块传输,效率也很高
缺点:不能很好的利用DMA方式,会比sendfile多消耗CPU资源,内存安全性控制复杂,需要避免JVM Crash问题

使用sendfile方式

优点:可以利用DMA方式,消耗CPU资源少,大块文件传输效率高,无内存安全新问题
缺点:小块文件效率低于mmap方式,只能是BIO方式传输,不能使用NIO

rocketMQ 在消费消息时,使用了 mmap,因为小块数据传输比sendFile好。kafka 使用了 sendFile。

参考:

linux下的mmap和零拷贝技术

零拷贝原理详解

零拷贝技术:mmap和sendfile

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章