應該知道的Linux技巧

  這篇文章來源於 Quroa 的一個問答《What are some time-saving tips that every Linux user should know?》—— Linux 用戶有哪些應該知道的提高效率的技巧。我覺得挺好的,總結得比較好,把其轉過來,並加了一些自己的理解。

  首先,我想告訴大家,在 Unix/Linux 下,最有效率技巧的不是操作圖形界面,而是命令行操作,因爲命令行意味着自動化。如果你看過《你可能不知道的 Shell》以及《28 個 Unix/Linux 的命令行神器》你就會知道 Linux 有多強大,這個強大完全來自於命令行,於是,就算你不知道怎麼去做一個環保主義的程序員,至少他們可以讓你少熬點夜,從而有利於你的身體健康和性生活。下面是一個有點長的列表,正如作者所說,你並不需要知道所有的這些東西,但是如果你還在很沉重地在使用 Linux 的話,這些東西都值得你看一看。

  (注:如果你想知道下面涉及到的命令的更多的用法,你一定要 man 一點。對於一些命令,你可能需要先 yum 或 apt-get 來安裝一下,如果有什麼問題,別忘了 Google。如果你要 Baidu 的話,我僅代表這個地球上所有的生物包括微生物甚至細菌病毒和小強 BS 你到宇宙毀滅)

  基礎

  • 學習 Bash 。你可以 man bash 來看看 bash 的東西,並不複雜也並不長。你用別的 shell 也行,但是 bash 是很強大的並且也是系統默認的。(學習 zsh 或 tsch 只會讓你在很多情況下受到限制)
  • 瞭解 ssh。明白不需要口令的用戶認證(通過 ssh-agent, ssh-add),學會用 ssh 翻牆,用 scp 而不是 ftp 傳文件,等等。你知道嗎?scp 遠端的時候,你可以按 tab 鍵來查看遠端的目錄和文件(當然,需要無口令的用戶認證),這都是 bash 的功勞。
  • 熟悉 bash 的作業管理,如: &, Ctrl-Z, Ctrl-C, jobs, fg, bg, kill, 等等。當然,你也要知道 Ctrl+\(SIGQUIT)和 Ctrl+C (SIGINT)的區別。
  • 簡單的文件管理 : ls 和 ls -l (你最好知道 “ls -l” 的每一列的意思), less, head, tail 和 tail -f, ln 和 ln -s (你知道明白 hard link 和 soft link 的不同和優缺點), chown, chmod, du (如果你想看看磁盤的大小 du -sk *), df, mount。當然,原作者忘了 find 命令。
  • 基礎的網絡管理: ip 或 ifconfig, dig。當然,原作者還忘了如 netstat, ping, traceroute, 等
  • 理解正則表達式,還有 grep/egrep 的各種選項。比如: -o, -A, 和 -B 這些選項是很值得了解的。
  • 學習使用 apt-get 和 yum 來查找和安裝軟件(前者的經典分發包是 Ubuntu,後者的經典分發包是 Redhat),我還建議你試着從源碼編譯安裝軟件。

  日常

  • 在 bash 裏,使用 Ctrl-R 而不是上下光標鍵來查找歷史命令。
  • 在 bash 裏,使用 Ctrl-W 來刪除最後一個單詞,使用 Ctrl-U 來刪除一行。請 man bash 後查找 Readline Key Bindings 一節來看看 bash 的默認熱鍵,比如:Alt-. 把上一次命令的最後一個參數打出來,而 Alt-* 則列出你可以輸入的命令。
  • 回到上一次的工作目錄: cd –  (回到 home 是 cd ~)
  • 使用 xargs。這是一個很強大的命令。你可以使用-L 來限定有多少個命令,也可以用-P 來指定並行的進程數。如果你不知道你的命令會變成什麼樣,你可以使用 xargs echo 來看看會是什麼樣。當然, -I{} 也很好用。示例:
find . -name \*.py  xargs grep some_function

cat hosts  xargs -I{} ssh root@{} hostname
  • 使用 pgrep 和 pkill 來找到或是 kill 某個名字的進程。 (-f 選項很有用).
  • 瞭解可以發給進程的信號。例如:要掛起一個進程,使用 kill -STOP [pid]. 使用 man 7 signal 來查看各種信號,使用 kill -l 來查看數字和信號的對應表
  • 使用 nohup 或  disown 如果你要讓某個進程運行在後臺。
  • 使用 netstat -lntp 來看看有偵聽在網絡某端口的進程。當然,也可以使用 lsof。
  • 在 bash 的腳本中,你可以使用 set -x 來 debug 輸出。使用 set -e 來當有錯誤發生的時候 abort 執行。考慮使用 set -o pipefail 來限制錯誤。還可以使用 trap 來截獲信號(如截獲 ctrl+c)。
  • 在 bash 腳本中,subshells (寫在圓括號裏的) 是一個很方便的方式來組合一些命令。一個常用的例子是臨時地到另一個目錄中,例如:
# do something in current dir

(cd /some/other/dir; other-command)

# continue in original dir
  • 在 bash 中,注意那裏有很多的變量展開。如:檢查一個變量是否存在: ${name:?error message}。如果一個 bash 的腳本需要一個參數,也許就是這樣一個表達式 input_file=${1:?usage: $0 input_file}。一個計算表達式: i=$(( (i + 1) % 5 ))。一個序列: {1..10}。 截斷一個字符串: ${var%suffix} 和 ${var#prefix}。 示例: if var=foo.pdf, then echo ${var%.pdf}.txt prints “foo.txt”.
  • 通過 <(some command) 可以把某命令當成一個文件。示例:比較一個本地文件和遠程文件 /etc/hosts: diff /etc/hosts <(ssh somehost cat /etc/hosts)
  • 瞭解什麼叫 “here documents” ,就是諸如 cat <<EOF 這樣的東西。
  • 在 bash 中,使用重定向到標準輸出和標準錯誤。如: some-command >logfile 2>&1。另外,要確認某命令沒有把某個打開了的文件句柄重定向給標準輸入,最佳實踐是加上 “</dev/null”,把/dev/null 重定向到標準輸入。
  • 使用 man ascii 來查看 ASCII 表。
  • 要來 debug Web,試試 curl 和 curl -I 或是 wget 。我覺得 debug Web 的利器是 firebug,curl 和 wget 是用來抓網頁的,呵呵。
  • 把 HTML 轉成文本: lynx -dump -stdin
  • 如果你要處理 XML,使用 xmlstarlet
  • 對於 Amazon S3, s3cmd 是一個很方便的命令(還有點不成熟)
  • 在 ssh 中,知道怎麼來使用 ssh 隧道。通過 -L or -D (還有-R) ,翻牆神器。
  • 你還可以對你的 ssh 做點優化。比如,.ssh/config 包含着一些配置:避免鏈接被丟棄,鏈接新的 host 時不需要確認,轉發認證,以前使用壓縮(如果你要使用 scp 轉文件):
TCPKeepAlive=yes

ServerAliveInterval=15

ServerAliveCountMax=6

StrictHostKeyChecking=no

Compression=yes

ForwardAgent=yes
  • 如果你有輸了個命令行,但是你改變注意了,但你又不想刪除它,因爲你要在歷史命令中找到它,但你也不想執行它。那麼,你可以按下 Alt-# ,於是這個命令關就被加了一個#字符,於是就被註釋掉了。

  數據處理 

  • 瞭解 sort 和 uniq 命令 (包括 uniq 的 -u 和 -d 選項).
  • 瞭解用 cut, paste, 和 join 命令來操作文本文件。很多人忘了在 cut 前使用 join。
  • 如果你知道怎麼用 sort/uniq 來做集合交集、並集、差集能很大地促進你的工作效率。假設有兩個文本文件a和b已解被 uniq 了,那麼,用 sort/uniq 會是最快的方式,無論這兩個文件有多大(sort 不會被內存所限,你甚至可以使用-T 選項,如果你的/tmp 目錄很小)
cat a b  sort  uniq > c   # c is a union b 並集

cat a b  sort  uniq -d > c # c is a intersect b 交集

cat a b b  sort  uniq -u > c # c is set difference a - b 差集
  • 瞭解和字符集相關的命令行工具,包括排序和性能。很多的 Linux 安裝程序都會設置 LANG 或是其它和字符集相關的環境變量。這些東西可能會讓一些命令(如:sort)的執行性能慢N多倍(注:就算是你用 UTF-8 編碼文本文件,你也可以很安全地使用 ASCII 來對其排序)。如果你想 Disable 那個 i18n 並使用傳統的基於 byte 的排序方法,那就設置 export LC_ALL=C (實際上,你可以把其放在 .bashrc)。如果這設置這個變量,你的 sort 命令很有可能會是錯的。
  • 瞭解 awk 和 sed,並用他們來做一些簡單的數據修改操作。例如:求第三列的數字之和: awk ‘{ x += $3 } END { print x }’。這可能會比 Python 快 3 倍,並比 Python 的代碼少三倍。
  • 使用 shuf 來打亂一個文件中的行或是選擇文件中一個隨機的行。
  • 瞭解 sort 命令的選項。瞭解 key 是什麼(-t 和-k)。具體說來,你可以使用-k1,1 來對第一列排序,-k1 來對全行排序。
  • Stable sort (sort -s) 會很有用。例如:如果你要想對兩例排序,先是以第二列,然後再以第一列,那麼你可以這樣: sort -k1,1 sort -s -k2,2
  • 我們知道,在 bash 命令行下,Tab 鍵是用來做目錄文件自動完成的事的。但是如果你想輸入一個 Tab 字符(比如:你想在 sort -t 選項後輸入<tab>字符),你可以先按 Ctrl-V,然後再按 Tab 鍵,就可以輸入<tab>字符了。當然,你也可以使用$’\t’。
  • 如果你想查看二進制文件,你可以使用 hd 命令(在 CentOS 下是 hexdump 命令),如果你想編譯二進制文件,你可以使用 bvi 命令(http://bvi.sourceforge.net/ 牆)
  • 另外,對於二進制文件,你可以使用 strings(配合 grep 等)來查看二進制中的文本。
  • 對於文本文件轉碼,你可以試一下 iconv。或是試試更強的 uconv 命令(這個命令支持更高級的 Unicode 編碼)
  • 如果你要分隔一個大文件,你可以使用 split 命令(split by size)和 csplit 命令(split by a pattern)。

  系統調試

  • 如果你想知道磁盤、CPU、或網絡狀態,你可以使用 iostat, netstat, top (或更好的 htop), 還有 dstat 命令。你可以很快地知道你的系統發生了什麼事。關於這方面的命令,還有 iftop, iotop 等(參看《28 個 Unix/Linux 的命令行神器》)
  • 要了解內存的狀態,你可以使用 free 和 vmstat 命令。具體來說,你需要注意 “cached” 的值,這個值是 Linux 內核佔用的內存。還有 free 的值。
  • Java 系統監控有一個小的技巧是,你可以使用 kill -3 <pid> 發一個 SIGQUIT 的信號給 JVM,可以把堆棧信息(包括垃圾回收的信息)dump 到 stderr/logs。
  • 使用 mtr 會比使用 traceroute 要更容易定位一個網絡問題。
  • 如果你要找到哪個 socket 或進程在使用網絡帶寬,你可以使用 iftop 或 nethogs。
  • Apache 的一個叫 ab 的工具是一個很有用的,用 quick-and-dirty 的方式來測試網站服務器的性能負載的工作。如果你需要更爲複雜的測試,你可以試試 siege。
  • 如果你要抓網絡包的話,試試 wireshark 或 tshark。
  • 瞭解 strace 和 ltrace。這兩個命令可以讓你查看進程的系統調用,這有助於你分析進程的 hang 在哪了,怎麼 crash 和 failed 的。你還可以用其來做性能 profile,使用 -c 選項,你可以使用-p 選項來 attach 上任意一個進程。
  • 學會到 /proc 目錄中查看信息。這是一個 Linux 內核運行時記錄的整個操作系統的運行統計和信息,比如: /proc/cpuinfo, /proc/xxx/cwd, /proc/xxx/exe, /proc/xxx/fd/, /proc/xxx/smaps.
  • 如果你調試某個東西爲什麼出錯時,sar 命令會有用。它可以讓你看看 CPU, 內存, 網絡, 等的統計信息。
  • 使用 dmesg 來查看一些硬件或驅動程序的信息或問題。

  作者最後加了一個免責聲明:Disclaimer: Just because you can do something in bash, doesn’t necessarily mean you should. ;)

發佈了19 篇原創文章 · 獲贊 8 · 訪問量 11萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章