shell腳本極簡教程-轉載自架構師小密圈

shell腳本極簡教程

2017-10-10 架構師小祕圈 架構師小祕圈
架構師小祕圈

seexmq

架構師小祕圈,聚集10萬架構師的小圈子!不定期分享技術乾貨,行業祕聞,彙集各類奇妙好玩的話題和流行動向!禁止截圖,閱後即焚!

一,shell題記

不懂shell的程序員不是好程序員,學習shell是爲了自動化,使用自動化可以非常有效的提高工作效率。沒有一個大公司不要求linux的基本技能的,只是不同崗位要求掌握的程度不同。


二,shell簡介


Shell本身是一個用C語言編寫的程序,它是用戶使用Unix/Linux的橋樑,用戶的大部分工作都是通過Shell完成的。Shell既是一種命令語言,又是一種程序設計語言。作爲命令語言,它交互式地解釋和執行用戶輸入的命令;作爲程序設計語言,它定義了各種變量和參數,並提供了許多在高級語言中才具有的控制結構,包括循環和分支。

它雖然不是Unix/Linux系統內核的一部分,但它調用了系統核心的大部分功能來執行程序、建立文件並以並行的方式協調各個程序的運行。因此,對於用戶來說,shell是最重要的實用程序,深入瞭解和熟練掌握shell的特性極其使用方法,是用好Unix/Linux系統的關鍵。

可以說,shell使用的熟練程度反映了用戶對Unix/Linux使用的熟練程度。

Shell有兩種執行命令的方式:

交互式(Interactive):解釋執行用戶的命令,用戶輸入一條命令,Shell就解釋執行一條。

批處理(Batch):用戶事先寫一個Shell腳本(Script),其中有很多條命令,讓Shell一次把這些命令執行完,而不必一條一條地敲命令。

Shell腳本和編程語言很相似,也有變量和流程控制語句,但Shell腳本是解釋執行的,不需要編譯,Shell程序從腳本中一行一行讀取並執行這些命令,相當於一個用戶把腳本中的命令一行一行敲到Shell提示符下執行。


Shell初學者請注意,在平常應用中,建議不要用 root 帳號運行 Shell 。作爲普通用戶,不管您有意還是無意,都無法破壞系統;但如果是 root,那就不同了,只要敲幾個字母,就可能導致災難性後果。


三,幾種常見的shell


上面提到過,Shell是一種腳本語言,那麼,就必須有解釋器來執行這些腳本。
Unix/Linux上常見的Shell腳本解釋器有bash、sh、csh、ksh等,習慣上把它們稱作一種Shell。我們常說有多少種Shell,其實說的是Shell腳本解釋器。

bash:bash是Linux標準默認的shell,本教程也基於bash講解。bash由Brian Fox和Chet Ramey共同完成,是BourneAgain Shell的縮寫,內部命令一共有40個。

Linux使用它作爲默認的shell是因爲它有諸如以下的特色:

  • 可以使用類似DOS下面的doskey的功能,用方向鍵查閱和快速輸入並修改命令。

  • 自動通過查找匹配的方式給出以某字符串開頭的命令。

  • 包含了自身的幫助功能,你只要在提示符下面鍵入help就可以得到相關的幫助。

sh:sh 由Steve Bourne開發,是Bourne Shell的縮寫,sh 是Unix 標準默認的shell。

ash:ash shell 是由Kenneth Almquist編寫的,Linux中佔用系統資源最少的一個小shell,它只包含24個內部命令,因而使用起來很不方便。

csh:csh 是Linux比較大的內核,它由以William Joy爲代表的共計47位作者編成,共有52個內部命令。該shell其實是指向/bin/tcsh這樣的一個shell,也就是說,csh其實就是tcsh。

ksh:ksh 是Korn shell的縮寫,由Eric Gisin編寫,共有42條內部命令。該shell最大的優點是幾乎和商業發行版的ksh完全兼容,這樣就可以在不用花錢購買商業版本的情況下嘗試商業版本的性能了。

注意:bash是 Bourne Again Shell 的縮寫,是linux標準的默認shell ,它基於Bourne shell,吸收了C shell和Korn shell的一些特性。bash完全兼容sh,也就是說,用sh寫的腳本可以不加修改的在bash中執行。


四,編程型和解釋型語言的區別


大體上,可以將程序設計語言可以分爲兩類:編譯型語言和解釋型語言。

編譯型語言

  很多傳統的程序設計語言,例如Fortran、Ada、Pascal、C、C++和Java,都是編譯型語言。這類語言需要預先將我們寫好的源代碼(source code)轉換成目標代碼(object code),這個過程被稱作“編譯”。

  運行程序時,直接讀取目標代碼(object code)。由於編譯後的目標代碼(object code)非常接近計算機底層,因此執行效率很高,這是編譯型語言的優點。
  但是,由於編譯型語言多半運作於底層,所處理的是字節、整數、浮點數或是其他機器層級的對象,往往實現一個簡單的功能需要大量複雜的代碼。例如,在C++裏,就很難進行“將一個目錄裏所有的文件複製到另一個目錄中”之類的簡單操作。

解釋型語言

  解釋型語言也被稱作“腳本語言”。執行這類程序時,解釋器(interpreter)需要讀取我們編寫的源代碼(source code),並將其轉換成目標代碼(object code),再由計算機運行。因爲每次執行程序都多了編譯的過程,因此效率有所下降。
  使用腳本編程語言的好處是,它們多半運行在比編譯型語言還高的層級,能夠輕易處理文件與目錄之類的對象;缺點是它們的效率通常不如編譯型語言。不過權衡之下,通常使用腳本編程還是值得的:花一個小時寫成的簡單腳本,同樣的功能用C或C++來編寫實現,可能需要兩天,而且一般來說,腳本執行的速度已經夠快了,快到足以讓人忽略它性能上的問題。腳本編程語言的例子有awk、Perl、Python、Ruby與Shell。


五,什麼時候使用shell?


因爲Shell似乎是各UNIX系統之間通用的功能,並且經過了POSIX的標準化。因此,Shell腳本只要“用心寫”一次,即可應用到很多系統上。因此,之所以要使用Shell腳本是基於:

  • 簡單性:Shell是一個高級語言;通過它,你可以簡潔地表達複雜的操作。

  • 可移植性:使用POSIX所定義的功能,可以做到腳本無須修改就可在不同的系統上執行。

  • 開發容易:可以在短時間內完成一個功能強大又妤用的腳本。

  但是,考慮到Shell腳本的命令限制和效率問題,下列情況一般不使用Shell:

  1. 資源密集型的任務,尤其在需要考慮效率時(比如,排序,hash等等)。

  2. 需要處理大任務的數學操作,尤其是浮點運算,精確運算,或者複雜的算術運算(這種情況一般使用C++或FORTRAN 來處理)。

  3. 有跨平臺(操作系統)移植需求(一般使用C 或Java)。

  4. 複雜的應用,在必須使用結構化編程的時候(需要變量的類型檢查,函數原型,等等)。

  5. 對於影響系統全局性的關鍵任務應用。

  6. 對於安全有很高要求的任務,比如你需要一個健壯的系統來防止入侵、破解、惡意破壞等等。

  7. 項目由連串的依賴的各個部分組成。

  8. 需要大規模的文件操作。

  9. 需要多維數組的支持。

  10. 需要數據結構的支持,比如鏈表或數等數據結構。

  11. 需要產生或操作圖形化界面 GUI。

  12. 需要直接操作系統硬件。

  13. 需要 I/O 或socket 接口。

  14. 需要使用庫或者遺留下來的老代碼的接口。

  15. 私人的、閉源的應用(shell 腳本把代碼就放在文本文件中,全世界都能看到)。

  如果你的應用符合上邊的任意一條,那麼就考慮一下更強大的語言吧——或許是Perl、Tcl、Python、Ruby——或者是更高層次的編譯語言比如C/C++,或者是Java。即使如此,你會發現,使用shell來原型開發你的應用,在開發步驟中也是非常有用的。


六,第一個shell腳本


打開文本編輯器,新建一個文件,擴展名爲sh(sh代表shell),擴展名並不影響腳本執行,見名知意就好,如果你用php寫shell 腳本,擴展名就用php好了。
輸入一些代碼:

#!/bin/bashecho "Hello World !"

  “#!” 是一個約定的標記,它告訴系統這個腳本需要什麼解釋器來執行,即使用哪一種Shell。echo命令用於向窗口輸出文本。
  運行Shell腳本有兩種方法。

作爲可執行程序

  將上面的代碼保存爲test.sh,並 cd 到相應目錄:

chmod +x ./test.sh #使腳本具有執行權限./test.sh #執行腳本

  注意,一定要寫成./test.sh,而不是test.sh。運行其它二進制的程序也一樣,直接寫test.sh,linux系統會去PATH裏尋找有沒有叫test.sh的,而只有/bin, /sbin, /usr/bin,/usr/sbin等在PATH裏,你的當前目錄通常不在PATH裏,所以寫成test.sh是會找不到命令的,要用./test.sh告訴系統說,就在當前目錄找。
  通過這種方式運行bash腳本,第一行一定要寫對,好讓系統查找到正確的解釋器。
  這裏的"系統",其實就是shell這個應用程序(想象一下Windows Explorer),但我故意寫成系統,是方便理解,既然這個系統就是指shell,那麼一個使用/bin/sh作爲解釋器的腳本是不是可以省去第一行呢?是的。

作爲解釋器參數

  這種運行方式是,直接運行解釋器,其參數就是shell腳本的文件名,如:

/bin/sh test.sh/bin/php test.php

  這種方式運行的腳本,不需要在第一行指定解釋器信息,寫了也沒用。
  再看一個例子。下面的腳本使用 read 命令從 stdin 獲取輸入並賦值給 PERSON 變量,最後在 stdout 上輸出:

#!/bin/bash# Author : mozhiyan# Copyright (c) http://see.xidian.edu.cn/cpp/linux/# Script follows here:echo "What is your name?"read PERSON
echo "Hello, $PERSON"

  運行腳本:

chmod +x ./test.sh
$./test.sh
What is your name?
mozhiyan
Hello, mozhiyan


七,shell變量


 Shell支持自定義變量。

定義變量

  定義變量時,變量名不加美元符號($),如:

variableName="value"

  注意,變量名和等號之間不能有空格,這可能和你熟悉的所有編程語言都不一樣。同時,變量名的命名須遵循如下規則:

  • 首個字符必須爲字母(a-z,A-Z)。

  • 中間不能有空格,可以使用下劃線(_)。

  • 不能使用標點符號。

  • 不能使用bash裏的關鍵字(可用help命令查看保留關鍵字)。

  變量定義舉例:

myUrl="http://see.xidian.edu.cn/cpp/linux/"myNum=100

使用變量

  使用一個定義過的變量,只要在變量名前面加美元符號($)即可,如:

your_name="mozhiyan"echo $your_name
echo ${your_name}

  變量名外面的花括號是可選的,加不加都行,加花括號是爲了幫助解釋器識別變量的邊界,比如下面這種情況:

for skill in Ada Coffe Action Java
do
echo "I am good at ${skill}Script"done

  如果不給skill變量加花括號,寫成echo "I am good at skillScript",解釋器就會把skillScript",解釋器就會把skillScript當成一個變量(其值爲空),代碼執行結果就不是我們期望的樣子了。
推薦給所有變量加上花括號,這是個好的編程習慣。

重新定義變量

  已定義的變量,可以被重新定義,如:

myUrl="http://see.xidian.edu.cn/cpp/linux/"echo ${myUrl}
myUrl="http://see.xidian.edu.cn/cpp/shell/"echo ${myUrl}

  這樣寫是合法的,但注意,第二次賦值的時候不能寫 myUrl="http://see.xidian.edu.cn/cpp/shell/",使用變量的時候才加美元符(myUrl="http://see.xidian.edu.cn/cpp/shell/",使用變量的時候才加美元符()。

只讀變量

  使用 readonly 命令可以將變量定義爲只讀變量,只讀變量的值不能被改變。
  下面的例子嘗試更改只讀變量,結果報錯:

#!/bin/bashmyUrl="http://see.xidian.edu.cn/cpp/shell/"readonly myUrl
myUrl="http://see.xidian.edu.cn/cpp/danpianji/"

  運行腳本,結果如下:

/bin/sh: NAME: This variable is read only.

刪除變量

  使用 unset 命令可以刪除變量。語法:

unset variable_name

  變量被刪除後不能再次使用;unset 命令不能刪除只讀變量。
  舉個例子:

#!/bin/shmyUrl="http://see.xidian.edu.cn/cpp/u/xitong/"unset myUrl
echo $myUrl

  上面的腳本沒有任何輸出。

變量類型

  運行shell時,會同時存在三種變量:

  1) 局部變量

  局部變量在腳本或命令中定義,僅在當前shell實例中有效,其他shell啓動的程序不能訪問局部變量。

  2) 環境變量

  所有的程序,包括shell啓動的程序,都能訪問環境變量,有些程序需要環境變量來保證其正常運行。必要的時候shell腳本也可以定義環境變量。

  3) shell變量

  shell變量是由shell程序設置的特殊變量。shell變量中有一部分是環境變量,有一部分是局部變量,這些變量保證了shell的正常運行


八,shell特殊變量


前面已經講到,變量名只能包含數字、字母和下劃線,因爲某些包含其他字符的變量有特殊含義,這樣的變量被稱爲特殊變量。

  例如,$ 表示當前Shell進程的ID,即pid,看下面的代碼:

$echo $$

  運行結果: 29949


特殊變量列表
變量 含義
$0 當前腳本的文件名
$n 傳遞給腳本或函數的參數。n 是一個數字,表示第幾個參數。例如,第一個參數是1,第二個參數是1,第二個參數是2。
$# 傳遞給腳本或函數的參數個數。
$* 傳遞給腳本或函數的所有參數。
$@ 傳遞給腳本或函數的所有參數。被雙引號(" ")包含時,與 $* 稍有不同,下面將會講到。
$? 上個命令的退出狀態,或函數的返回值。
$$ 當前Shell進程ID。對於 Shell 腳本,就是這些腳本所在的進程ID。


九,shell替換


如果表達式中包含特殊字符,Shell 將會進行替換。例如,在雙引號中使用變量就是一種替換,轉義字符也是一種替換。
  舉個例子:

#!/bin/basha=10echo -e "Value of a is $a \n"

  運行結果:

Value of a is 10

  這裏 -e 表示對轉義字符進行替換。如果不使用 -e 選項,將會原樣輸出:

Value of a is 10\n

  下面的轉義字符都可以用在 echo 中:

轉義字符 含義
\\ 反斜槓
\a 警報,響鈴
\b 退格(刪除鍵)
\f 換頁(FF),將當前位置移到下頁開頭
\n 換行
\r 回車
\t 水平製表符(tab鍵) 
\v 垂直製表符

  可以使用 echo 命令的 -E 選項禁止轉義,默認也是不轉義的;使用 -n 選項可以禁止插入換行符。

命令替換

  命令替換是指Shell可以先執行命令,將輸出結果暫時保存,在適當的地方輸出。
  命令替換的語法:

`command`

  注意是反引號,不是單引號,這個鍵位於 Esc 鍵下方。
  下面的例子中,將命令執行結果保存在變量中:#!/bin/bashDATE=`date`

echo "Date is $DATE"USERS=`who | wc -l`
echo "Logged in user are $USERS"UP=`date ; uptime`
echo "Uptime is $UP"

  運行結果:

Date is Thu Jul  2 03:59:57 MST 2009Logged in user are 1Uptime is Thu Jul  2 03:59:57 MST 2009
03:59:57 up 20 days, 14:03, 1 user, load avg: 0.13, 0.07, 0.15

變量替換

  變量替換可以根據變量的狀態(是否爲空、是否定義等)來改變它的值。
  可以使用的變量替換形式:

形式 說明
${var} 變量本來的值
${var:word} 如果變量 var 爲空或已被刪除(unset),那麼返回 word,但不改變 var 的值。
${var:=word} 如果變量 var 爲空或已被刪除(unset),那麼返回 word,並將 var 的值設置爲 word。
${var:?message} 如果變量 var 爲空或已被刪除(unset),那麼將消息 message 送到標準錯誤輸出,可以用來檢測變量 var 是否可以被正常賦值。
若此替換出現在Shell腳本中,那麼腳本將停止運行。
${var:+word} 如果變量 var 被定義,那麼返回 word,但不改變 var 的值。


  請看下面的例子:

#!/bin/bash echo ${var:-"Variable is not set"}

echo "1 - Value of var is ${var}"echo ${var:="Variable is not set"}
echo "2 - Value of var is ${var}"unset var
echo ${var:+"This is default value"}
echo "3 - Value of var is $var"var="Prefix"echo ${var:+"This is default value"}
echo "4 - Value of var is $var"echo ${var:?"Print this message"}
echo "5 - Value of var is ${var}"


運行結果:


Variable is not set1 - Value of var isVariable is not set2 - Value of var is Variable is not set3 - Value of var isThis is default value4 - Value of var is Prefix
Prefix5 - Value of var is Prefix


十,shell運算符


Bash 支持很多運算符,包括算數運算符、關係運算符、布爾運算符、字符串運算符和文件測試運算符。

原生bash不支持簡單的數學運算,但是可以通過其他命令來實現,例如 awk 和 expr,expr 最常用。
expr 是一款表達式計算工具,使用它能完成表達式的求值操作。
例如,兩個數相加:

#!/bin/bashval=`expr 2 + 2`
echo "Total value : $val"

運行腳本輸出:

Total value : 4

兩點注意:

  • 表達式和運算符之間要有空格,例如 2+2 是不對的,必須寫成 2 + 2,這與我們熟悉的大多數編程語言不一樣。

  • 完整的表達式要被 ` ` 包含,注意這個字符不是常用的單引號,在 Esc 鍵下邊。

算術運算符

先來看一個使用算術運算符的例子:

#!/bin/sh a=10 b=20 
val=`expr $a + $b`
echo "a + b : $val"


運行結果:

a + b : 30

  注意:

  • 乘號(*)前邊必須加反斜槓(\)才能實現乘法運算;

  • if...then...fi 是條件語句,後續將會講解。

算術運算符列表
運算符 說明 舉例
+ 加法 `expr a+b` 結果爲 30。
- 減法 `expr a−b` 結果爲 10。
* 乘法 `expr a\**b` 結果爲  200。
/ 除法 `expr b/a` 結果爲 2。
% 取餘 `expr ba` 結果爲 0。
= 賦值 a=$b 將把變量 b 的值賦給 a。
== 相等。用於比較兩個數字,相同則返回 true。 [ a==b ] 返回 false。
!= 不相等。用於比較兩個數字,不相同則返回 true。 a!=b ] 返回 true。


 注意:條件表達式要放在方括號之間,並且要有空格,例如 [a ==b]是錯誤的,必須寫成 [ a ==b ]。

關係運算符

  關係運算符只支持數字,不支持字符串,除非字符串的值是數字。
  先來看一個關係運算符的例子:

#!/bin/sh a=10 b=20 
if [ $a -eq $b ]
then
echo "$a -eq $b : a is equal to b"
else echo "$a -eq $b: a is not equal to b"

運行結果:

10 -eq 20: a is not equal to b
關係運算符列表
運算符 說明 舉例
-eq 檢測兩個數是否相等,相等返回 true。 [ a−eqb ] 返回 true。
-ne 檢測兩個數是否相等,不相等返回 true。 [ a−neb ] 返回 true。
-gt 檢測左邊的數是否大於右邊的,如果是,則返回 true。 a−gtb ] 返回 false。
-lt 檢測左邊的數是否小於右邊的,如果是,則返回 true。 [ a−ltb ] 返回 true。
-ge 檢測左邊的數是否大等於右邊的,如果是,則返回 true。 [ a−gea−geb ] 返回 false。
-le 檢測左邊的數是否小於等於右邊的,如果是,則返回 true。 a−leb ] 返回 true。

布爾運算符

  先來看一個布爾運算符的例子:

#!/bin/sh a=10 b=20 if [ $a != $b ]
then
echo "$a != $b : a is not equal to b"
else echo "$a != $b: a is equal to b"

  運行結果:

10 != 20 : a is not equal to b
布爾運算符列表
運算符 說明 舉例
! 非運算,表達式爲 true 則返回 false,否則返回 true。 [ ! false ] 返回 true。
-o 或運算,有一個表達式爲 true 則返回 true。

[ a−lt20-ob -gt 100 ] 返回 true。

-a 與運算,兩個表達式都爲 true 才返回 true。 [ a−lt20−ab -gt 100 ] 返回 false。

字符串運算符

  先來看一個例子:

#!/bin/sh a="abc" b="efg" if [ $a = $b ]
then
echo "$a = $b : a is equal to b" else
echo "$a = $b: a is not equal to b"

  運行結果:

abc = efg: a is not equal to b
字符串運算符列表
運算符 說明 舉例
= 檢測兩個字符串是否相等,相等返回 true。 a=b ] 返回 false。
!= 檢測兩個字符串是否相等,不相等返回 true。 a!=b ] 返回 true。
-z 檢測字符串長度是否爲0,爲0返回 true。 [ -z $a ] 返回 false。
-n 檢測字符串長度是否爲0,不爲0返回 true。 [ -z $a ] 返回 true。
str 檢測字符串是否爲空,不爲空返回 true。 [ $a ] 返回 true。

文件測試運算符

  文件測試運算符用於檢測 Unix 文件的各種屬性。
  例如,變量 file 表示文件“/var/www/tutorialspoint/unix/test.sh”,它的大小爲100字節,具有 rwx 權限。下面的代碼,將檢測該文件的各種屬性:

#!/bin/sh file="/var/www/tutorialspoint/unix/test.sh"
if [ -r $file ]
then
echo "File has read access"
else echo "File does not have read access"

  運行結果:

File has read access


文件測試運算符列表
操作符 說明 舉例
-b file 檢測文件是否是塊設備文件,如果是,則返回 true。 [ -b $file ] 返回 false。
-c file 檢測文件是否是字符設備文件,如果是,則返回 true。 [ -b $file ] 返回 false。
-d file 檢測文件是否是目錄,如果是,則返回 true。 [ -d $file ] 返回 false。
-f file 檢測文件是否是普通文件(既不是目錄,也不是設備文件),如果是,則返回 true。 [ -f $file ] 返回 true。
-g file 檢測文件是否設置了 SGID 位,如果是,則返回 true。 [ -g $file ] 返回 false。
-k file 檢測文件是否設置了粘着位(Sticky Bit),如果是,則返回 true。 [ -k $file ] 返回 false。
-p file 檢測文件是否是具名管道,如果是,則返回 true。 [ -p $file ] 返回 false。
-u file 檢測文件是否設置了 SUID 位,如果是,則返回 true。 [ -u $file ] 返回 false。
-r file 檢測文件是否可讀,如果是,則返回 true。 [ -r $file ] 返回 true。
-w file 檢測文件是否可寫,如果是,則返回 true。 [ -w $file ] 返回 true。
-x file 檢測文件是否可執行,如果是,則返回 true。 [ -x $file ] 返回 true。
-s file 檢測文件是否爲空(文件大小是否大於0),不爲空返回 true。 [ -s $file ] 返回 true。
-e file 檢測文件(包括目錄)是否存在,如果是,則返回 true。 [ -e $file ] 返回 true。

文章參考出處:

http://www.cnblogs.com/maybe2030/

相關閱讀:

技術:億級日誌實時分析平臺,一個碼農半小時就可以搞定,只因ELK

分享:2T架構師學習資料乾貨分享

頂層:利用頂層框架,秒變微服務專家

經驗:那些年不加班的開發團隊的祕密,原因竟是因爲持續集成

架構師小祕圈,聚集10萬架構師的小圈子!不定期分享技術乾貨,行業祕聞!彙集各類奇妙好玩的話題和流行動向!長按左側圖片掃碼加入微信羣!

長按二維碼向我轉賬

受蘋果公司新規定影響,微信 iOS 版的讚賞功能被關閉,可通過二維碼轉賬支持公衆號。

發佈了23 篇原創文章 · 獲贊 16 · 訪問量 5萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章