1.Shell腳本入門

1.1腳本格式

規範的Shell腳本第一行會指出由哪個程序(解釋器)來執行腳本中的內容。

#!/bin/bash
或
#!/bin/sh
注意：這一行必須在每個腳本頂端的第一行，如果不是第一行則爲腳本註釋行。

sh是bash的軟鏈接，推薦標準寫法#!/bin/bash

1.2第一個Shell腳本：helloworld

（1）需求：創建一個Shell腳本，輸出helloworld
（2）案例實操：

[sparky@hadoop101 datas]$ touch helloworld.sh
[sparky@hadoop101 datas]$ vi helloworld.sh

在helloworld.sh中輸入如下內容
#!/bin/bash
echo "helloworld"

（3）腳本的常用執行方式

採用bash或sh+腳本的相對路徑或絕對路徑（不用賦予腳本+x權限）

sh helloworld.sh

採用輸入腳本的絕對路徑或相對路徑執行腳本（必須具有可執行權限+x）
（a）首先要賦予helloworld.sh 腳本的+x權限

[sparky@hadoop101 datas]$ chmod 777 helloworld.sh

（b）執行腳本

相對路徑
[sparky@hadoop101 datas]$ ./helloworld.sh 
Helloworld
絕對路徑
[sparky@hadoop101 datas]$ /home/sparky/datas/helloworld.sh 
Helloworld

1.3第二個Shell腳本：多命令處理

（1）需求：在/home/sparky/目錄下創建一個banzhang.txt,在banzhang.txt文件中增加“I love cls”。
（2）案例實操：

[sparky@hadoop101 datas]$ touch batch.sh
[sparky@hadoop101 datas]$ vi batch.sh

在batch.sh中輸入如下內容
#!/bin/bash

cd /home/atguigu
touch cls.txt
echo "I love cls" >>cls.txt

（3）執行腳本

2.Shell中的變量

2.1系統變量

常用系統變量
$HOME、$PWD、$SHELL、$USER等
案例實操
查看系統變量的值

2.2自定義變量

基本語法
（1）定義變量：變量=值
（2）撤銷變量：unset 變量
（3）聲明靜態變量：readonly變量，注意：不能unset
變量定義規則
（1）變量名稱可以由字母、數字和下劃線組成，但是不能以數字開頭，環境變量名建議大寫。
（2）等號兩側不能有空格
（3）在bash中，變量默認類型都是字符串類型，無法直接進行數值運算。
（4）變量的值如果有空格，需要使用雙引號或單引號括起來。
案例實操

（1）定義變量A

[sparky@hadoop101 datas]$ A=5
[sparky@hadoop101 datas]$ echo $A
5

（2）給變量A重新賦值

[sparky@hadoop101 datas]$ A=8
[sparky@hadoop101 datas]$ echo $A
8

（3）撤銷變量A

[sparky@hadoop101 datas]$ unset A
[sparky@hadoop101 datas]$ echo $A

（4）聲明靜態的變量B=2，不能unset

[sparky@hadoop101 datas]$ readonly B=2
[sparky@hadoop101 datas]$ echo $B
2
[sparky@hadoop101 datas]$ B=9
-bash: B: readonly variable

（5）在bash中，變量默認類型都是字符串類型，無法直接進行數值運算

[sparky@hadoop102 ~]$ C=1+2
[sparky@hadoop102 ~]$ echo $C
1+2

（6）變量的值如果有空格，需要使用雙引號或單引號括起來

[sparky@hadoop102 ~]$ D=I love banzhang
-bash: world: command not found
[sparky@hadoop102 ~]$ D="I love banzhang"
[sparky@hadoop102 ~]$ echo $A
I love banzhang

（7）可把變量提升爲全局環境變量，可供其他Shell程序使用 export 變量名

[sparky@hadoop101 datas]$ vim helloworld.sh 

在helloworld.sh文件中增加echo $B
#!/bin/bash

echo "helloworld"
echo $B

[sparky@hadoop101 datas]$ ./helloworld.sh 
Helloworld

發現並沒有打印輸出變量B的值。

[sparky@hadoop101 datas]$ export B
[sparky@hadoop101 datas]$ ./helloworld.sh 
helloworld
2

2.3特殊變量：$n

基本語法
$n （功能描述：n爲數字，$0代表該腳本名稱，$1-$9代表第一到第九個參數，十以上的參數，十以上的參數需要用大括號包含，如${10}）
案例實操
（1）輸出該腳本文件名稱、輸入參數1和輸入參數2 的值

[sparky@hadoop101 datas]$ touch parameter.sh 
[sparky@hadoop101 datas]$ vim parameter.sh

#!/bin/bash
echo "$0  $1   $2"

[sparky@hadoop101 datas]$ chmod 777 parameter.sh

[sparky@hadoop101 datas]$ ./parameter.sh cls  xz
./parameter.sh  cls   xz

2.4特殊變量：$#

基本語法
$# （功能描述：獲取所有輸入參數個數，常用於循環）。
案例實操
（1）獲取輸入參數的個數

[sparky@hadoop101 datas]$ vim parameter.sh

#!/bin/bash
echo "$0  $1   $2"
echo $#

[sparky@hadoop101 datas]$ chmod 777 parameter.sh

[sparky@hadoop101 datas]$ ./parameter.sh cls  xz
parameter.sh cls xz 
2

2.5特殊變量：$*、$@

基本語法
$* （功能描述：這個變量代表命令行中所有的參數，$*把所有的參數看成一個整體）
$@ （功能描述：這個變量也代表命令行中所有的參數，不過$@把每個參數區分對待）
案例實操
（1）打印輸入的所有參數

[sparky@hadoop101 datas]$ vim parameter.sh

#!/bin/bash
echo "$0  $1   $2"
echo $#
echo $*
echo $@

[sparky@hadoop101 datas]$ bash parameter.sh 1 2 3
parameter.sh  1   2
3
1 2 3
1 2 3

2.6特殊變量：$？

基本語法
$？（功能描述：最後一次執行的命令的返回狀態。如果這個變量的值爲0，證明上一個命令正確執行；如果這個變量的值爲非0（具體是哪個數，由命令自己來決定），則證明上一個命令執行不正確了。）
案例實操
（1）判斷helloworld.sh腳本是否正確執行

[sparky@hadoop101 datas]$ ./helloworld.sh 
hello world
[sparky@hadoop101 datas]$ echo $?
0

3.運算符

基本語法
（1）“$((運算式))”或“$[運算式]”
（2）expr + , - , *, /, % 加，減，乘，除，取餘

注意：expr運算符間要有空格
案例實操：
（1）計算3+2的值

[sparky@hadoop101 datas]$ expr 2 + 3
5

（2）計算3-2的值

[sparky@hadoop101 datas]$ expr 3 - 2 
1

（3）計算（2+3）X4的值
（a）expr一步完成計算

[sparky@hadoop101 datas]$ expr `expr 2 + 3` \* 4
20

（b）採用$[運算式]方式

[sparky@hadoop101 datas]# S=$[(2+3)*4]
[sparky@hadoop101 datas]# echo $S

4.條件判斷

基本語法
[ 條件]（注意“條件”前後要有空格）
注意：條件非空即爲true，[ sparky]返回true，[] 返回false。
常用判斷條件
（1）兩個整數之間比較

（2）按照文件權限進行判斷

（3）按照文件類型進行判斷

案例實操

（1）23是否大於等於22

[sparky@hadoop101 datas]$ [ 23 -ge 22 ]
[sparky@hadoop101 datas]$ echo $?
0

（2）helloworld.sh是否具有寫權限

[sparky@hadoop101 datas]$ [ -w helloworld.sh ]
[sparky@hadoop101 datas]$ echo $?
0

（3）/home/sparky/cls.txt目錄中的文件是否存在

[sparky@hadoop101 datas]$ [ -e /home/sparky/cls.txt ]
[sparky@hadoop101 datas]$ echo $?
1

（4）多條件判斷（&& 表示前一條命令執行成功時，才執行後一條命令，|| 表示上一條命令執行失敗後，才執行下一條命令）

[sparky@hadoop101 ~]$ [ condition ] && echo OK || echo notok
OK
[sparky@hadoop101 datas]$ [ condition ] && [ ] || echo notok
notok

5.流程控制（重點）

5.1 if判斷

基本語法

if [ 條件判斷式 ];then 
  程序 
fi 

或者
 
if [ 條件判斷式 ] 
  then 
    程序 
fi

注意事項：
（1）[ 條件判斷式 ]，中括號和條件判斷式之間必須有空格
（2）if後要有空格

案例實操
（1）輸入一個數字，如果是1，則輸出banzhang zhen shuai，如果是2，則輸出cls zhen mei，如果是其它，什麼也不輸出。

[sparky@hadoop101 datas]$ touch if.sh
[sparky@hadoop101 datas]$ vim if.sh

#!/bin/bash

if [ $1 -eq "1" ]
then
        echo "banzhang zhen shuai"
elif [ $1 -eq "2" ]
then
        echo "cls zhen mei"
fi

[sparky@hadoop101 datas]$ chmod 777 if.sh 
[sparky@hadoop101 datas]$ ./if.sh 1
banzhang zhen shuai

5.2 case語句

1．基本語法
case $變量名 in 
  "值1"） 
    如果變量的值等於值1，則執行程序1 
    ;; #雙分號類似於break
  "值2"） 
    如果變量的值等於值2，則執行程序2 
    ;; 
  …省略其他分支… 
  *） # *類似於defaut
    如果變量的值都不是以上的值，則執行此程序 
    ;; 
esac  #退出程序

注意事項：

case行尾必須爲單詞“in”，每一個模式匹配必須以右括號“）”結束。
雙分號“;;”表示命令序列結束，相當於java中的break。
最後的“*）”表示默認模式，相當於java中的default。

案例實操
（1）輸入一個數字，如果是1，則輸出banzhang，如果是2，則輸出cls，如果是其它，輸出renyao。

[sparky@hadoop101 datas]$ touch case.sh
[sparky@hadoop101 datas]$ vim case.sh

!/bin/bash

case $1 in
"1")
        echo "banzhang"
;;

"2")
        echo "cls"
;;
*)
        echo "renyao"
;;
esac

[sparky@hadoop101 datas]$ chmod 777 case.sh
[sparky@hadoop101 datas]$ ./case.sh 1
1

5.3 for循環

基本語法1

for (( 初始值;循環控制條件;變量變化 )) 
  do 
    程序 
  done

案例實操
（1）從1加到100

[sparky@hadoop101 datas]$ touch for1.sh
[sparky@hadoop101 datas]$ vim for1.sh

#!/bin/bash

s=0
for((i=0;i<=100;i++))
do
        s=$[$s+$i]
done
echo $s

[sparky@hadoop101 datas]$ chmod 777 for1.sh 
[sparky@hadoop101 datas]$ ./for1.sh 
“5050”

基本語法2

for 變量 in 值1 值2 值3… 
  do 
    程序 
  done

案例實操
（1）打印所有輸入參數

[sparky@hadoop101 datas]$ touch for2.sh
[sparky@hadoop101 datas]$ vim for2.sh

#!/bin/bash
#打印數字

for i in $*
    do
      echo "ban zhang love $i "
    done

[sparky@hadoop101 datas]$ chmod 777 for2.sh 
[sparky@hadoop101 datas]$ bash for2.sh cls xz bd
ban zhang love cls
ban zhang love xz
ban zhang love bd

（2）比較$*和$@區別
（a）$*和$@都表示傳遞給函數或腳本的所有參數，不被雙引號“”包含時，都以$1 $2 …$n的形式輸出所有參數。

[sparky@hadoop101 datas]$ touch for.sh
[sparky@hadoop101 datas]$ vim for.sh

#!/bin/bash 

for i in $*
do
      echo "ban zhang love $i "
done

for j in $@
do      
        echo "ban zhang love $j"
done

[sparky@hadoop101 datas]$ bash for.sh cls xz bd
ban zhang love cls 
ban zhang love xz 
ban zhang love bd 
ban zhang love cls
ban zhang love xz
ban zhang love bd

（b）當它們被雙引號“”包含時，“$*”會將所有的參數作爲一個整體，以“$1 $2 …$n”的形式輸出所有參數；“$@”會將各個參數分開，以“$1” “$2”…”$n”的形式輸出所有參數。

[sparky@hadoop101 datas]$ vim for.sh

#!/bin/bash 

for i in "$*" 
#$*中的所有參數看成是一個整體，所以這個for循環只會循環一次 
        do 
                echo "ban zhang love $i"
        done 

for j in "$@" 
#$@中的每個參數都看成是獨立的，所以“$@”中有幾個參數，就會循環幾次 
        do 
                echo "ban zhang love $j" 
done

[sparky@hadoop101 datas]$ chmod 777 for.sh
[sparky@hadoop101 datas]$ bash for.sh cls xz bd
ban zhang love cls xz bd
ban zhang love cls
ban zhang love xz
ban zhang love bd

5.4 while 循環

基本語法

while [ 條件判斷式 ] 
  do 
    程序
  done

案例實操
（1）從1加到100

[sparky@hadoop101 datas]$ touch while.sh
[sparky@hadoop101 datas]$ vim while.sh

#!/bin/bash
s=0
i=1
while [ $i -le 100 ]
do
        s=$[$s+$i]
        i=$[$i+1]
done

echo $s

[sparky@hadoop101 datas]$ chmod 777 while.sh 
[sparky@hadoop101 datas]$ ./while.sh 
5050

6.read讀取控制檯輸入

基本語法
read(選項)(參數)
選項：
-p：指定讀取值時的提示符；
-t：指定讀取值時等待的時間（秒）。
參數
變量：指定讀取值的變量名
案例實操
（1）提示7秒內，讀取控制檯輸入的名稱

[sparky@hadoop101 datas]$ touch read.sh
[sparky@hadoop101 datas]$ vim read.sh

#!/bin/bash

read -t 7 -p "Enter your name in 7 seconds " NAME
echo $NAME

[sparky@hadoop101 datas]$ ./read.sh 
Enter your name in 7 seconds xiaoze
xiaoze

7.函數

7.1系統函數

basename基本語法

basename [string / pathname] [suffix]  	
（功能描述：basename命令會刪掉所有的前綴包括最後一個（‘/’）字符，然後將字符串顯示出來。

選項：
suffix爲後綴，如果suffix被指定了，basename會將pathname或string中的suffix去掉。
2．案例實操
（1）截取該/home/sparky/banzhang.txt路徑的文件名稱

[sparky@hadoop101 datas]$ basename /home/sparky/banzhang.txt 
banzhang.txt
[sparky@hadoop101 datas]$ basename /home/sparky/banzhang.txt .txt
banzhang

dirname基本語法

dirname 文件絕對路徑		
（功能描述：從給定的包含絕對路徑的文件名中去除文件名（非目錄的部分），然後返回剩下的路徑（目錄的部分））

案例實操
1）獲取banzhang.txt文件的路徑

[sparky@hadoop101 ~]$ dirname /home/sparky/banzhang.txt 
/home/sparky

7.2 自定義函數

基本語法

[ function ] funname[()]
{
	Action;
	[return int;]
}
funname

經驗技巧
（1）必須在調用函數地方之前，先聲明函數，shell腳本是逐行運行。不會像其它語言一樣先編譯。
（2）函數返回值，只能通過$?系統變量獲得，可以顯示加：return返回，如果不加，將以最後一條命令運行結果，作爲返回值。return後跟數值n(0-255)
案例實操
（1）計算兩個輸入參數的和

[sparky@hadoop101 datas]$ touch fun.sh
[sparky@hadoop101 datas]$ vim fun.sh

#!/bin/bash
function sum()
{
    s=0
    s=$[ $1 + $2 ]
    echo "$s"
}

read -p "Please input the number1: " n1;
read -p "Please input the number2: " n2;
sum $n1 $n2;

[sparky@hadoop101 datas]$ chmod 777 fun.sh
[sparky@hadoop101 datas]$ ./fun.sh 
Please input the number1: 2
Please input the number2: 5
7

8.Shell工具（重點）

8.1cut

cut的工作就是“剪”，具體的說就是在文件中負責剪切數據用的。cut 命令從文件的每一行剪切字節、字符和字段並將這些字節、字符和字段輸出。

基本用法

cut [選項參數]  filename
說明：默認分隔符是製表符

選項參數說明
案例實操

（0）數據準備

[sparky@hadoop101 datas]$ touch cut.txt
[sparky@hadoop101 datas]$ vim cut.txt
dong shen
guan zhen
wo  wo
lai  lai
le  le

（1）切割cut.txt第一列

[sparky@hadoop101 datas]$ cut -d " " -f 1 cut.txt 
dong
guan
wo
lai
le

（2）切割cut.txt第二、三列

[sparky@hadoop101 datas]$ cut -d " " -f 2,3 cut.txt 
shen
zhen
 wo
 lai
 le

（3）在cut.txt文件中切割出guan

[sparky@hadoop101 datas]$ cat cut.txt | grep "guan" | cut -d " " -f 1
guan

（4）選取系統PATH變量值，第2個“：”開始後的所有路徑：

[sparky@hadoop101 datas]$ echo $PATH
/usr/lib64/qt-3.3/bin:/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin:/home/sparky/bin

[sparky@hadoop102 datas]$ echo $PATH | cut -d: -f 2-
/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin:/home/sparky/bin

（5）切割ifconfig 後打印的IP地址

[sparky@hadoop101 datas]$ ifconfig eth0 | grep "inet addr" | cut -d: -f 2 | cut -d" " -f1
192.168.1.102

8.2 sed

sed是一種流編輯器，它一次處理一行內容。處理時，把當前處理的行存儲在臨時緩衝區中，稱爲“模式空間”，接着用sed命令處理緩衝區中的內容，處理完成後，把緩衝區的內容送往屏幕。接着處理下一行，這樣不斷重複，直到文件末尾。文件內容並沒有改變，除非你使用重定向存儲輸出。

基本用法

sed [選項參數]  ‘command’  filename

選項參數說明
命令功能描述
案例實操
（0）數據準備

[sparky@hadoop102 datas]$ touch sed.txt
[sparky@hadoop102 datas]$ vim sed.txt
dong shen
guan zhen
wo  wo
lai  lai

le  le

（1）將“mei nv”這個單詞插入到sed.txt第二行下，打印。

[sparky@hadoop102 datas]$ sed '2a mei nv' sed.txt 
dong shen
guan zhen
`mei nv`
wo  wo
lai  lai

le  le
[sparky@hadoop102 datas]$ cat sed.txt 
dong shen
guan zhen
wo  wo
lai  lai

le  le
` 注意：文件並沒有改變 `

（2）刪除sed.txt文件所有包含wo的行

[sparky@hadoop102 datas]$ sed '/wo/d' sed.txt
dong shen
guan zhen
lai  lai

le  le

（3）將sed.txt文件中wo替換爲ni

[sparky@hadoop102 datas]$ sed 's/wo/ni/g' sed.txt 
dong shen
guan zhen
ni  ni
lai  lai

le  le

注意：‘g’表示global，全部替換
（4）將sed.txt文件中的第二行刪除並將wo替換爲ni

[sparky@hadoop102 datas]$ sed -e '2d' -e 's/wo/ni/g' sed.txt 
dong shen
ni  ni
lai  lai

le  le

8.3 awk

一個強大的文本分析工具，把文件逐行的讀入，以空格爲默認分隔符將每行切片，切開的部分再進行分析處理。

基本用法

awk [選項參數] ‘pattern1{action1}  pattern2{action2}...’ filename
pattern：表示AWK在數據中查找的內容，就是匹配模式
action：在找到匹配內容時所執行的一系列命令

選項參數說明
案例實操

（0）數據準備

[sparky@hadoop102 datas]$ sudo cp /etc/passwd ./

（1）搜索passwd文件以root關鍵字開頭的所有行，並輸出該行的第7列。

[sparky@hadoop102 datas]$ awk -F: '/^root/{print $7}' passwd 
/bin/bash

（2）搜索passwd文件以root關鍵字開頭的所有行，並輸出該行的第1列和第7列，中間以“，”號分割。

[sparky@hadoop102 datas]$ awk -F: '/^root/{print $1","$7}' passwd 
root,/bin/bash

注意：只有匹配了pattern的行纔會執行action
（3）只顯示/etc/passwd的第一列和第七列，以逗號分割，且在所有行前面添加列名user，shell在最後一行添加"dahaige，/bin/zuishuai"。

[sparky@hadoop102 datas]$ awk -F : 'BEGIN{print "user, shell"} {print $1","$7} END{print "dahaige,/bin/zuishuai"}' passwd
user, shell
root,/bin/bash
bin,/sbin/nologin
。。。
sparky,/bin/bash
dahaige,/bin/zuishuai

注意：BEGIN 在所有數據讀取行之前執行；END 在所有數據執行之後執行。
（4）將passwd文件中的用戶id增加數值1並輸出

[sparky@hadoop102 datas]$ awk -v i=1 -F: '{print $3+i}' passwd
1
2
3
4

awk的內置變量
案例實操
（1）統計passwd文件名，每行的行號，每行的列數

[sparky@hadoop102 datas]$ awk -F: '{print "filename:"  FILENAME ", linenumber:" NR  ",columns:" NF}' passwd 
filename:passwd, linenumber:1,columns:7
filename:passwd, linenumber:2,columns:7
filename:passwd, linenumber:3,columns:7

（2）切割IP

[sparky@hadoop102 datas]$ ifconfig eth0 | grep "inet addr" | awk -F: '{print $2}' | awk -F " " '{print $1}' 
192.168.1.102

（3）查詢sed.txt中空行所在的行號

[sparky@hadoop102 datas]$ awk '/^$/{print NR}' sed.txt 
5

8.4 sort

sort命令是在Linux裏非常有用，它將文件進行排序，並將排序結果標準輸出。

基本語法

sort(選項)(參數)

案例實操

（0）數據準備

[sparky@hadoop102 datas]$ touch sort.sh
[sparky@hadoop102 datas]$ vim sort.sh 
bb:40:5.4
bd:20:4.2
xz:50:2.3
cls:10:3.5
ss:30:1.6

（1）按照“：”分割後的第三列倒序排序。

[sparky@hadoop102 datas]$ sort -t : -nrk 3  sort.sh 
bb:40:5.4
bd:20:4.2
cls:10:3.5
xz:50:2.3
ss:30:1.6

大數據技術之shell編程

文章目錄

1.Shell腳本入門

1.1腳本格式

1.2第一個Shell腳本：helloworld

1.3第二個Shell腳本：多命令處理

2.Shell中的變量

2.1系統變量

2.2自定義變量

2.3特殊變量：$n

2.4特殊變量：$#

2.5特殊變量：$*、$@

2.6特殊變量：$？

3.運算符

4.條件判斷

5.流程控制（重點）

5.1 if判斷

5.2 case語句

5.3 for循環

5.4 while 循環

6.read讀取控制檯輸入

7.函數

7.1系統函數

7.2 自定義函數

8.Shell工具（重點）

8.1cut

8.2 sed

8.3 awk

8.4 sort

HTTP URL 詳解

Leetcode44：通配符匹配（附視頻解析）

VMware15安裝Centos7圖解教程

全國大學生大數據技能競賽

阿爾法python練習(4-7答案)

大數據技術之HDFS

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結