讲个小故事:Unix的yes命令

  你知道的最简单的Unix命令是什么?

  是echo,它把字符串打印到终端,然后返回true,它的返回值总是0.

  除了echo,还有一个命令也很简单,它是yes。如果你运行它,不带任何参数,它会无限输出字母y到屏幕上,其中每一个y都独占一行。

  感觉很没用?其实它是很有用的

  安装程序的时候,有的程序需要你不断地按y和回车,安装进程才能继续工作。yes命令可以解救你!它帮你输入y和回车,这样你就可以安心去看唐老鸭动画片了。

  让我们自己编写一个yes命令

  这是一个基本的版本,嗯,用BASIC写的

  然后我们再写一个Python版本的:

  感觉很简单?等等,先别急。事实上上面两个程序都很慢。

  让我们对比一下系统内置的版本:

  我要自己写一个快一点的版本,我尝试用Rust去写:

  稍微解释一下这段程序:

  我们循环打印的字符是从第一个命令行参数中获取的,我们把这个参数保存在变量expletive中。

  我们使用unwrap_or这个方法获取命令行参数的值,如果没有命令行参数,那么就使用"y"。

  让我们测试一下

  额,这就尴尬了,比Python的版本还慢。这让我很惊讶,于是我到处寻找该命令的C源码。

  下面这段代码是yes命令作为系统命令发布的第一个版本,它发布在Unix 7上,由Ken Thompson于1979年1月10日编写。

  好像没什么特殊的地方。

  如今,这个命令被放在GNU coreutils中,当前这个版本用了整整128行代码来完成这个功能,你可以在github上找到它的源码:https://github.com/coreutils/coreutils/blame/master/src/yes.c。已经过了25年,这个命令居然仍然在更新中!最近一次更新大概在一年前。它的效率非常高

  最关键的是最后这部分

  哇哦!他们就是用了一个缓冲区来让写入操作变得更快。

  缓冲区大小由常量BUFSIZ控制,这个变量在各个系统中不同,以便能最优化写入效率。在我的系统中,它被定义为1024bytes,我把它改为8192bytes,发现程序更快了。

  所以,参考这个思路我更新了我的Rust程序。

  一个重要的细节是,缓冲区大小必须是4的倍数,这样来保证内存数据的对齐。

  我这个程序可以达到51.3MiB/s,这个速度已经快于我的系统自带版本了,但是仍然比Reddit论坛上网友晒出的程序慢很多,网友的程序可以达到10.2GiB/s。

  再更新

  我再次求助于社区,有人给我指出了之前网上对这个问题的一些讨论。下面是他们优化的代码,在我的机器上运行效果达到了3GB/s。

  现在这个程序的思路已经完全不同了!

  我们准备了一个字符串缓冲区,这个缓冲区在循环中被不断复用。

  标准输出用锁保护起来。所以,相比于不断地请求锁、释放锁,我们把标准输出一直占用着。

  我们使用平台原生的 std::ffi::OsString 和 std::borrow::Cow 来避免不必要的分配。

  这里面唯一我能做出的改进贡献就是移除一个没用的小变量。

  学到了什么?

  很小的一个命令yes里面居然如此复杂。它使用了输出缓冲区和内存对齐来提高性能。重新实现这些小程序很有趣,同时我对它们所使用的提高性能的技巧也感到惊叹不已!

  大连×××医院 http://yiyuan.120ask.com/dlnk/

  大连市×××医院 http://yiyuan.120ask.com/dlnk/news/

  大连妇科医院 http://yiyuan.120ask.com/dlfk/


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章