Shell開發在運維中的經驗總結(轉載)

無論是系統運維,還是應用運維,均可分爲“純手工”——> “腳本化”——> “自動化”——>“智能化”幾個階段,其中自動化階段,主要是將一些重複性人工操作和運維經驗封裝爲程序或腳本,一方面避免重複性操作及風險,另一方面提高執行效率。在自動化運維的轉變過程中,經常使用的可能就是shell腳本了,今天主要分享下shell腳本開發在運維工作中的一些經驗總結。

 

小腳本有大智慧,別小看幾十行代碼,夾雜着系統設計、代碼規範和操作經驗等等細節,在建設自動化運維的工作中,還是很值得我們研究學習的,下面總結這些也都是源於各位腳本達人和我們在自身工作中“遇到的坑”、“摔過的跟頭”和“排過的雷”,與大家共享。

 

 

這裏主要介紹並參考我行已經形成的一些shell編寫規範,編寫時嚴格遵守這些規範,不僅使編寫人受益,同時也能提高使用者的執行效率。

 

1)腳本開頭部分應有腳本功能說明、參數使用說明、作者姓名、創建/修改日期、版本信息,格式爲:

 

 

2)腳本編寫時,注意格式對齊,如所有的循環或者判斷語句前後的語句進行對齊,以及case的選取完全,如:

 

 

3)腳本開頭執行時,執行如下命令,在執行過程中若遇到使用了未定義的變量或命令返回值爲非零,將直接報錯退出:

 

 

4)建議將命令行的每個參數放在單引號、雙引號中,特別是rm、mv等可能對生產現有數據造成修改的操作,建議使用垃圾箱策略:rm操作轉意爲mv操作,制定文件保存目錄,以防回退,並定期清理:

 

 

5)命令行中參數需要使用‘*’、‘?’通配符的,應依據最精確匹配原則,如能確定文件、目錄名稱的前綴、後綴、擴展名及其他可識別關鍵字的,須在參數中包含該信息,如能確定文件、目錄的長度應使用‘?’通配符,不得使用‘*’,推薦的使用方式:

 

 

不推薦使用的方式:

 

 

禁止使用的方式:

 

 

6)給數值型變量的賦值後,需由手段保證變量的值爲數值型,避免在後續的處理中出現異常:

 

 

7)在判斷條件中使用的變量,必須包含在雙引號中,如:

 

 

禁止使用的方式:

 

 

8)對文件進行打包備份時,必須使用相對路徑進行打包,如:

 

 

嚴禁將全路徑打入tar包, 如:

 

 

9)對於打包後還需進行壓縮的文件,建議使用管道進行處理,如:

 

 

不建議兩部分分開執行:

 

 

10)使用ps命令篩選進程時,如能確定進程所屬用戶,必須在參數中指定用戶名稱,如其輸出作爲kill命令的輸入,則必須指定進程所屬用戶,如:

 

 

 

這裏介紹的主要是日常shell編寫中遇到比較隱蔽或看似簡單,卻難以發現的“坑”,編寫中應儘量避免使用,使用更優的方法避免重蹈覆轍。

 

1)更新文件使用>不用cp

 

使用>修改和回退文件時,保留原文件的屬組和權限,避免使用cp時權限屬組被修改。

 

 

2)使用kill前確認

 

關鍵字用-w 精確匹配字段;

 

kill前後都保留現場, 兩次ps -ef|grep -w 關鍵字|grep -v grep >>/tmp/kill_進程名_.backup;

 

刪除前要校驗,獲取進程號是否唯一,避免多殺或誤殺的情況。

 

 

3)使用rm前確認

 

刪除前備份刪除對象信息,避免使用變量,直接使用文件和目錄名;

 

如果必須使用時,刪除前,建議檢查避免誤刪,刪除目錄和文件信息保留:

 

 

建議禁用find遍歷根目錄進行查找,同時刪除前進行確認,避免多刪或誤刪的情況。

 

4)For循環的坑

 

for循環的in條件按空格來區分,避免進入不正確或死循環。

 

 

5)while循環的禁忌

如果還想使用循環中的變量,不要while結合管道使用。

 

 

6)慎用cp

這句話基本上正確,但同樣有空格分詞的問題。所以應當用雙引號:

 

 

但是如果湊巧文件名以 - 開頭,這個文件名會被 cp 當作命令行選項來處理。

 

可以試試下面這個:   

 

 

但也可能再碰上一個不支持 -- 選項的系統,所以最好用下面的方法: 

 

 

7)慎用cd

 

避免使用cd到操作目錄再操作的方式,可能導致進入目錄失敗,誤刪除,如:

 

建議如下:

8)     用[[  ]]代替[ ]

 

當$var爲空時,上面的命令就變成了[ ="bar" ]

類似地,當$var包含空格時:

 

[ space words here = "var" ]兩者都會出錯。所以應當用雙引號將變量括起來:

 

[ "$var" = var ]  幾乎完美了。

 

但是,當$var以 - 開頭時依然會有問題。在較新的bash中你可以用下面的方法來代替,[[ ]]關鍵字能正確處理空白、空格、帶橫線等問題。

 

 

另注意,[[適用於字符串,如果是數值,要用如:(( $var > 8 ))

 

9)管道操作中不要同時讀寫文件

 

 

你不能在同一條管道操作中同時讀寫一個文件。根據管道的實現方式,file要麼被截斷成0字節,要麼會無限增長直到填滿整個硬盤。如果想改變原文件的內容,只能先將輸出寫到臨時文件中再用mv命令。

 

 

10)cd的易錯問題

 

cd 有可能會出錯,導致要執行的命令就會在你預想不到的目錄裏執行了。所以一定要記得判斷cd的返回值。

 

 

如果你要根據cd的返回值執行多條命令,可以用 ||。

 

 

關於目錄的一點題外話,假設你要在shell程序中頻繁變換工作目錄,如下面的代碼:

 

 

不如這樣寫:

 

 

括號會強制啓動一個子shell,這樣在這個子shell中改變工作目錄不會影響父shell(執行這個腳本的shell),就可以省掉cd - 的麻煩。

 

目前行裏自動化工具越來越多,無論是應用的MAOP或系統的SMDB,自動化實現都還是日常運維腳本的調用,結合日常運維的一些經驗,腳本中就更需要考慮周全和控制風險。這裏介紹一些結合運維場景的腳本應用,希望規避以前犯過的錯,重點在控制風險。

 

1)     支持交互式腳本的應用

很多腳本中需要進行交互,在規避風險的同時,需要通過自動化工具發佈來支持交互,可以使用expect,示例如下:

 

 

也可以使用curl工具來替代簡單的交互:

#FTP SFTP下載

 

curl-u ftpuser:ftppassword -O "sftp://ftp_ip:ftp_port/pathfile"

 #FTP SFTP上傳

curl-u ftpuser:ftppassword  --ftp-create-dirs-T upfile "sftp://ftp_ip:ftp_port/filepath/upfile"

 

2)腳本規範執行和日誌追溯

 

直接執行的腳本很危險,要提示用戶如何使用腳本,並記錄日誌以便跟蹤。

 

示例如下:

 

 

3)腳本的併發鎖控制

 

避免多人同時執行或併發同時執行的異常問題,建議增加鎖機制,示例如下:

 

 

4)控制腳本不退出的風險

 

週期頻繁執行的腳本,需要防止腳本hang住不退出,導致後續腳本再次執行。

 

 

5)避免集中發佈腳本造成的風險

 

使用ftp、sftp傳輸、下載文件,或者集中訪問存儲端口時,儘量增加發布對象散列,避免集中操作造成存儲端口擁堵,跨防火牆流量超限報警等影響。

 

 

6)避免文件無限增長的風險

 

向一個文件中追加數據時,一定要設置閥值,必要時清空,避免文件無限增大:

 

 

目錄增加清理過期文件策略,避免產生的文件越來越多,造成文件節點用盡:

 

 

目錄中的文件過多,會報參數太長錯誤無法刪除,建議放在循環中遍歷刪除:

 

 

總結:

鑑於以上腳本,我們可以從中汲取一些經驗,規避一些風險:

通過增加日誌記錄輸出和腳本執行的方法說明,並自動交互和傳遞參數,避免執行腳本的操作風險;利用文件鎖機制和運維中一些規避風險的方法,使得腳本自動執行起來更便捷更安全。

 

1. 通過規範類腳本的定義,標準常量定義、清晰的註釋、函數和變量大小寫用法,細節中可以看出嚴謹,即使只有幾行,也能體現出一名優秀腳本開發人員的素質。

 

2. 通過易錯類腳本中的“坑”,使得 shell面向過程的編寫更得心應手,讓腳本規範的同時,邏輯也更嚴謹清晰,避免了錯誤,也提高了腳本的開發效率。

 

3. 通過運維場景的腳本應用,規避各種開發和執行過程中的風險,使得shell腳本不僅能支持自動化發佈,更可以全面智能化的爲運維服務。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章