Linux shell I/O重定向詳解

 I/O重定向詳解及應用實例

 

1、 基本概念(這是理解後面的知識的前提,請務必理解)

a、 I/O重定向通常與 FD有關,shell的FD通常爲10個,即 0~9;

b、 常用FD有3個,爲0(stdin,標準輸入)、1(stdout,標準輸出)、2(stderr,標準錯誤輸出),默認與keyboard、monitor、monitor有關;

c、 用 < 來改變讀進的數據信道(stdin),使之從指定的檔案讀進;

d、 用 > 來改變送出的數據信道(stdout, stderr),使之輸出到指定的檔案;

e、 0 是 < 的默認值,因此 < 與 0<是一樣的;同理,> 與 1> 是一樣的;

f、 在IO重定向 中,stdout 與 stderr 的管道會先準備好,纔會從 stdin 讀進資料;

g、 管道“|”(pipe line):上一個命令的 stdout 接到下一個命令的 stdin;

h、 tee 命令是在不影響原本 I/O 的情況下,將 stdout 複製一份到檔案去;

i、 bash(ksh)執行命令的過程:分析命令-變量求值-命令替代(``和$( ))-重定向-通配符展開-確定路徑-執行命令;

j、 ( ) 將 command group 置於 sub-shell 去執行,也稱 nested sub-shell,它有一點非常重要的特性是:繼承父shell的Standard input, output, and error plus any other open file descriptors。

k、 exec 命令:常用來替代當前 shell 並重新啓動一個 shell,換句話說,並沒有啓動子 shell。使用這一命令時任何現有環境都將會被清除。exec 在對文件描述符進行操作的時候,也只有在這時,exec 不會覆蓋你當前的 shell 環境。

 

 

2、 基本IO

cmd > file 把 stdout 重定向到 file 文件中

cmd >> file 把 stdout 重定向到 file 文件中(追加)

cmd 1> fiel 把 stdout 重定向到 file 文件中

cmd > file 2>&1 把 stdout 和 stderr 一起重定向到 file 文件中

cmd 2> file 把 stderr 重定向到 file 文件中

cmd 2>> file 把 stderr 重定向到 file 文件中(追加)

cmd >> file 2>&1 把 stderr 和 stderr 一起重定向到 file 文件中(追加)

cmd < file >file2 cmd 命令以 file 文件作爲 stdin,以 file2 文件作爲 stdout

cat <>file 以讀寫的方式打開 file

cmd < file cmd 命令以 file 文件作爲 stdin

cmd << delimiter Here document,從 stdin 中讀入,直至遇到 delimiter 分界符

 

 

3、 進階IO

>&n 使用系統調用 dup (2) 複製文件描述符 n 並把結果用作標準輸出

<&n 標準輸入複製自文件描述符 n

<&- 關閉標準輸入(鍵盤)

>&- 關閉標準輸出

n<&- 表示將 n 號輸入關閉

n>&- 表示將 n 號輸出關閉

上述所有形式都可以前導一個數字,此時建立的文件描述符由這個數字指定而不是缺省的 0 或 1。如:

... 2>file 運行一個命令並把錯誤輸出(文件描述符 2)定向到 file。

... 2>&1 運行一個命令並把它的標準輸出和輸出合併。(嚴格的說是通過複製文件描述符 1 來建立文件描述符 2 ,但效果通常是合併了兩個流。)

我們對 2>&1詳細說明一下 :2>&1 也就是 FD2=FD1 ,這裏並不是說FD2 的值 等於FD1的值,因爲 > 是改變送出的數據信道,也就是說把 FD2 的 “數據輸出通道” 改爲 FD1 的 “數據輸出通道”。如果僅僅這樣,這個改變好像沒有什麼作用,因爲 FD2 的默認輸出和 FD1的默認輸出本來都是 monitor,一樣的!

但是,當 FD1 是其他文件,甚至是其他 FD 時,這個就具有特殊的用途了。請大家務必理解這一點。

 

exec 0exec 1>outfilename # 打開文件outfilename作爲stdout

exec 2>errfilename # 打開文件 errfilename作爲 stderr

exec 0<&- # 關閉 FD0

exec 1>&- # 關閉 FD1

exec 5>&- # 關閉 FD5

 

問:

如果關閉了 FD0、FD1、FD2,其後果是什麼?

恢復 FD0、FD1、FD2與 關閉FD0、FD1、FD2 有什麼區別?代碼分別是什麼?

打開了FD3~FD9,我們用完之後,你覺得是將他們關閉還是恢復?

 

 

下面是提示(例子來源於CU一帖子,忘記出處,來日再補上):

exec 6>&2 2>ver

command >>dev/null &

exec 2>&6 # 恢復 FD2

 

 

4、 簡單舉例(其中 you 這個文件是存在的,no和yes這兩個文件不存在)

a、stdout和stderr都通過管道送給egrep了:

(ls you no 2>&1;ls yes 2>&1) 2>&1|egrep /* >file

(ls you no 2>&1;ls yes 2>&1)|egrep /* >file

(ls you no;ls yes) 2>&1|egrep /* >file

###

這個例子要注意的就是:

理解 命令執行順序 和 管道“|”:在命令執行前,先要進行重定向的處理,並將把 nested sub-shell 的stdout 接到 egrep 命令的 stdin。

nested sub-shell ,在 ( ) 中的兩個命令加上(),可以看作一個命令。其 FD1 已經連接到“|”往egrep送了,當遇到 2>&1時,也就是FD2=FD1,即FD2同FD1一樣,往管道 “|”那邊送。

###

 

b、沒有任何東西通過管道送給egrep,全部送往monitor。

(ls you no 2>&1;ls yes 2>&1) >&2|egrep /* >file

雖然在()裏面將 FD2轉往FD1,但在()外,遇到 >&2 ,結果所有的都送到monitor。

請理解:

(ls you no 2>&1) 1>&2|egrep /* >file ## 送到 monitor

ls you no 2>&1 1>&2|egrep /* >file ## 送給 管道 “|”

ls you no 1>&2 2>&1|egrep /* >file ## 送到 monitor

 

 

5、 中階例子(其中 you 這個文件是存在的,no和yes這兩個文件不存在)

r2007兄的:http://bbs.chinaunix.net/forum/viewt...313c6922123f67

條件:

stderr通過管道送給egrep,正確消息仍然送給monitor(不變)

exec 4>&1;(ls you no 2>&1 1>&4 4>&-;ls yes 2>&1 1>&4 4>&-)|egrep /* >file;exec 4>&-

或者

exec 4>&1;(ls you no;ls yes) 2>&1 1>&4 4>&-|egrep /* >file;exec 4>&-

 

r2007 兄在其貼已有詳細說明,我就不在說明了。

如果加兩個條件:

(1)要求cmd1和cmd2並行運行;

(2)將cmd1的返回值賦給變量 ss。

則爲:

exec 3>&1;exec 4>&1

ss=$(((ls you no 2>&1 1>&3 3>&-;echo $? >&4)|egrep /* >file) 4>&1)

exec 3>&-;exec 4>&-

 

說明:

exec 3>&1;4>&1

### 建立FD3,是用來將下面ls那條語句(子shell)中的FD1 恢復到正常FD1,即輸出到monitor,你可以把FD3看作最初始的FD1的硬盤備份(即輸出到monitor);

### 建立FD4,到時用作保存ls的返回值(echo $?),你可以將FD4看作你考試時用於存放計算“echo $?”的草稿紙;

 

(ls you no 2>&1 1>&3 3>&-;echo $? >&4)

### 大家還記得前面說的子shell和管道吧。這條命令首先會繼承FD0、FD1、FD2、FD3、FD4,它位於管道前,所以在運行命令前會先把子shell自己的FD1和管道“|”相連。

但是我們的條件是stderr通過管道送往egrep,stdout仍然輸出到monitor。

於是通過2>&1,先把 子shell的FD1 的管道“送給”FD2,於是子shell中的stderr送往管道“|”;

再通過 1>&3,把以前的“硬盤備份”恢復給子shell的FD1,於是子shell中的FD1變成送到monitor了。

再通過3>&- ,將3關閉;

接着運行echo $? ,本來其輸出值應該送往管道的,通過 >&4 ,將 輸出 送往 “草稿紙”FD4,留以備用。

 

((ls you no 2>&1 1>&3 3>&-;echo $? >&4)|egrep /* >file)

於是,stderr 通過管道送給 egrep ,stdout 送給monitor,但是,還有 FD4,它送到哪去了?

$(((ls you no 2>&1 1>&3 3>&-;echo $? >&4)|egrep /* >file) 4>&1)

最後的 4>&1 ,就是把FD4 重定向到 FD1。但由於其輸出在 $( )中,其值就賦給變量ss了。

 

最後一行關閉 FD3、FD4。

 

 

6、 高階例子

lightspeed 版主大大的:Shell 經典問題之 [ I/O 重定向] (http://bbs.chinaunix.net/forum/viewt...ow_type=new)

[Q] 對於命令 cmd1, cmd2, cmd3, cmd4. 如何利用單向管道完成下列功能:

1. 所有命令並行執行

2. cmd1 和 cmd2 不需要 stdin

3. cmd1 和 cmd2 的 stdout 定向到 cmd3 的 stdin

4. cmd1 和 cmd2 的 stderr 定向到 cmd4 的 stdin

5. cmd3 的 stdout 定向到文件 a, stderr 定向到屏幕

6. cmd4 的 stdout 定向到文件 b, stderr 定向到屏幕

7. cmd1 的返回碼賦給變量 s

8. 不能利用臨時文件

 

解決方法:

exec 3>&1; exec 4>&1

s=$(((((cmd1 1>&3 ; echo $? >&4 )| cmd2 ) 3>&1 | cmd3 >a 2>&3 ) 2>&1 | cmd4 >b ) 4>&1)

exec 3>&-; exec 4>&-

 

這個我一步步解釋(好複雜,自己感覺看明白了,過一會再看,大腦仍然有幾分鐘空白~~~,沒想到我也能看明白):

exec 3>&1; exec 4>&1

### 前面的例子都有說明了,就是建立FD3 ,給cmd1恢復其FD1用和給cmd3 恢復其FD2用

### 建立FD4,保存“echo $?”輸出值的“草稿紙”

 

第一對括號:(cmd1 1>&3 ; echo $? >&4 ) 和其後(第一個)管道

## 在第一個括號(子shell)中,其FD1已經連到 管道中了,所以用 FD3 將 FD1恢復正常,不讓他往管道跑;

## 這裏的cmd1沒有stdin,接着將 cmd1 運行的返回碼 保存到 FD4 中;

 

第二對括號:((cmd1 1>&3 ; echo $? >&4 )| cmd2 ) 3>&1 和其後(第二個)管道

## 前面的 FD1 已經不送給 cmd2了,FD2 默認也不送過來,所以cmd2 也沒有stdin ,所以在第二對括號裏面:cmd1和cmd2 的stdout、stderr 爲默認輸出,一直遇到 “3>&1”爲止。

## 請注意:“3>&1”,先將第二對括號看出一個命令,他們遇到 第二個管道時,其FD1 連到 管道 “|”,由於“3>&1”的作用,子shell的FD1 送給FD3 使用,所以所有FD3 的輸出都 “流往”cmd3,又由於繼承關係(繼承第一行的命令),FD3實際上就是cmd1和cmd2的stdout,於是“ cmd1 和 cmd2 的 stdout 定向到 cmd3 的 stdin”

 

第三對括號:(((cmd1 1>&3 ; echo $? >&4 )| cmd2 ) 3>&1 | cmd3 >a 2>&3 ) 2>&1 和其後的第三個管道

## cmd1 和 cmd2 的 stdout 已經定向到 cmd3 的 stdin,處理之後,cmd3 >a 意味着將其 stdout 送給 a 文件。而2>&3的意思是:恢復cmd3的錯誤輸出爲FD3,即送往 monitor。於是“cmd3 的 stdout 定向到文件 a, stderr 定向到屏幕”。如果沒有“2>&3”,那麼cmd3的錯誤輸出就會干擾cmd1和cmd2的錯誤輸出,所以它是必須的!

 

## 請注意第三對括號後的 “2>&1”| ,其子shell的FD1 本來連接着管道“|”,但子shell FD1 慷慨大方,送給了 FD2,於是FD2 連接着管道。還記得前面的 cmd1 和 cmd2 嗎?他們的stderr一直沒動了。於是在這裏,通過管道送給了第四個命令cmd4 了。即“cmd1 和 cmd2 的 stderr 定向到 cmd4 的 stdin”

## 後面就比較簡單了。cmd4 >b 表示“cmd4 的 stdout 定向到文件 b, stderr 定向到屏幕(默認)”

 

第四對括號:((((cmd1 1>&3 ; echo $? >&4 )| cmd2 ) 3>&1 | cmd3 >a 2>&3 ) 2>&1 | cmd4 >b ) 與其後的 4>&1

## 四對括號裏面的 FD1、FD2都處理完了。但是還記得前面“echo $? >&4”那塊“草稿紙”嗎?“4>&1”的作用就是“將草稿紙上的內容送給monitor”,但是由於最外面還有 $() 將其“包着”。於是其值賦給變量“s”。

 

++++++++++++++++++++++++++++++++++++++++++++

我嘗試回答下面的問題。如有錯誤,還請各位前輩指正!

 

 

7、 在一個交互式的(Interactive) shell 中, 用 exec 進行 I/O 重定向.

1). Stdin, stderr 可以定向到文件中嗎? 有什麼結果?

a、 在交互式shell中,可以將stdin定向到文件。執行:exec 0結果爲:in 文件中每一行均會被自動執行,並且在最後會再加執行一個 exit 命令,導致退出(或退回到正常shell下)。

如 in 文件內容:$ more in

date

read lsp

echo hahha

echo "this is $lsp"

 

在提示符下執行命令:$ exec 0$ date

Tue Jan 18 18:29:07 HKT 2005

$ read lsp # 其下面本應有的那句“ echo hahha ”的 “hahaha” 已經被讀入到變量 lsp 中了

$ echo "this is $lsp"

this is echo hahha

$ exit

 

b、 在交互式shell中,可以將stderr定向到文件。執行:exec 2>err

結果爲:命令提示符PS被屏蔽,輸入的命令也被屏蔽。但是命令執行的結果,如果是stdout 則會回顯到屏幕上,如果是 stderr 則不會回顯到屏幕上。其中,命令提示符、命令、stderr均會保存到文件 err 中。如:

$ exec 2>err

err in out # 執行 ls 命令

Tue Jan 18 18:55:58 HKT 2005 # 執行 date 命令,而後執行了“ ls nofile”,nofile這個文件不存在

$ # 執行 exit 命令

 

現在讓我們查看 err文件:

$ more err

[lsp@ii lsp]$ ls

[lsp@ii lsp]$ date

[lsp@ii lsp]$ ls nofile

ls: nofile: No such file or directory

[lsp@ii lsp]$ exit

exit

 

c、 在交互式shell中,可以將stdout定向到文件。這個使我們常用到的。就不說了。就是將錯誤的輸出內容定向到文件中。正確的輸出內容並不受影響。

 

2). Stdin, Stderr 可以關閉嗎? 有什麼結果?

在交互式shell中,如果關閉stdin,如:exec 0<&- ,其結果是退出(或退回到正常shell下)。

在交互式shell中,如果關閉stderr,如:exec 2>&- ,狀態同stderr定向到文件,唯一不同的是沒有保存下來。

在交互式shell中,如果關閉stdoutr,如:exec 1>&- ,只要執行有stdout或stderr內容送往 monitor 的命令,如ls、date這類命令,均會報錯:“ls: write error: Bad file descriptor”。其他如cd、mkdir、……這類命令不受影響。

 

3). 如果 stdin, stdout, stderr 進行了重定向或關閉, 但沒有保存原來的 FD, 可以將其恢復到 default 狀態嗎?

*** 如果關閉了stdin,因爲會導致退出,那肯定不能恢復。

*** 如果重定向或關閉 stdout和stderr其中之一,可以恢復,因爲他們默認均是送往monitor(但不知會否有其他影響)。如恢復重定向或關閉的stdout: exec 1>&2 ,恢復重定向或關閉的stderr:exec 2>&1。

*** 如果stdout和stderr全部都關閉了,又沒有保存原來的FD,可以用:exec 1>/dev/tty 恢復。

 

+++++++++++++++++++

下面參考了 r2007 兄的回覆!謹以致謝!

+++++++++++++++++++

 

8、 cmd >a 2>a 和 cmd >a 2>&1 爲什麼不同?

cmd >a 2>a :stdout和stderr都直接送往文件 a ,a文件會被打開兩遍,由此導致stdout和stderr互相覆蓋。

cmd >a 2>&1 :stdout直接送往文件a ,stderr是繼承了FD1的管道之後,再被送往文件a 。a文件只被打開一遍,就是FD1將其打開。

我想:他們的不同點在於:

cmd >a 2>a 相當於使用了兩個互相競爭使用文件a的管道;

而cmd >a 2>&1 只使用了一個管道,但在其源頭已經包括了stdout和stderr。

從IO效率上來講,cmd >a 2>&1的效率應該更高!

發佈了14 篇原創文章 · 獲贊 5 · 訪問量 5萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章