5. 部署管理Hadoop集羣
5.1 部署Hadoop集羣
登陸界面http://{IP Address}:8080/，用戶名密碼爲admin：admin。接下來就可以啓動安裝嚮導，創建集羣，安裝服務。
部署成功後，便可成功進入界面。在主界面中，可以查看集羣狀態監控信息
在HadoopMaster的終端執行jps命令，在打印結果中會看到master上運行的進程，這些進程表示主節點進程啓動成功。
在HadoopSlave 的終端執行jps命令，也會看到相應的進程：
5.2 HDFS運維管理
5.2.1 HDFS命令手冊
1. 概述
切換到hdfs用戶，可以通過“hadoop fs -”命令來查看HDFS文件系統的幫助命令，通過提示的命令來對文件系統進行管理。
命令如下：
$ hadoop fs -
所有的hadoop命令均由bin/hadoop腳本引發。不指定參數運行hadoop腳本會打印所有命令的描述。
用法：hadoop [--config confdir] [COMMAND] [GENERIC_OPTIONS] [COMMAND_OPTIONS]
Hadoop有一個選項解析框架用於解析一般的選項和運行類。
| 命令選項 | 描述 |
|---|---|
| –config confdir | 覆蓋缺省配置目錄。缺省是${HADOOP_HOME}/conf |
| GENERIC_OPTIONS | 多個命令都支持的通用選項 |
| COMMAND 命令選項S | 各種各樣的命令和它們的選項會在下面提到。這些命令被分爲 用戶命令 管理命令兩組。 |
2. 權限管理
在Hadoop集羣中，只有hdfs用戶纔有對HDFS文件系統的管理權限，當其它用戶對文件系統進行操作，需要給其賦予相應的權限，這裏爲了方便操作，將所有用戶的讀寫執行權限全部放開，命令如下：
3. 常規選項
下面的選項被 dfsadmin, fs, fsck和 job支持。 應用程序要實現 Tool來支持常規選項。
| GENERIC_OPTION | 描述 |
|---|---|
| -conf | 指定應用程序的配置文件。 |
| -D <property=value> | 爲指定property指定值value。 |
| -fs <local|namenode:port> | 指定namenode。 |
| -jt <local|jobtracker:port> | 指定job tracker。只適用於job。 |
| -files <逗號分隔的文件列表> | 指定要拷貝到map reduce集羣的文件的逗號分隔的列表。 只適用於job。 |
| -libjars <逗號分隔的jar列表> | 指定要包含到classpath中的jar文件的逗號分隔的列表。 只適用於job。 |
| -archives <逗號分隔的archive列表> | 指定要被解壓到計算節點上的檔案文件的逗號分割的列表。 只適用於job。 |
4.用戶命令
hadoop集羣用戶的常用命令。
archive
創建一個hadoop檔案文件。參考 Hadoop Archives.
用法：hadoop archive -archiveName NAME -p <parent path> <src>* <dest>
| 命令選項 | 描述 |
|---|---|
| -archiveName NAME | 要創建的檔案的名字。 |
| -p | 父路徑，格式與正則表達式一致。 |
| src | 父路徑下面需要創建檔案的文件名（可多個） |
| dest | 保存檔案文件的目標目錄。 |
distcp
遞歸地拷貝文件或目錄。參考DistCp指南以獲取等多信息。
用法：hadoop distcp <srcurl> <desturl>
| *命令選項* | *描述* |
|---|---|
| srcurl | 源Url |
| desturl | 目的Url |
fs
用法：hadoop fs [GENERIC_OPTIONS] [COMMAND_OPTIONS]
運行一個常規的文件系統客戶端。
fsck
運行HDFS文件系統檢查工具。參考Fsck瞭解更多。
用法：hadoop fsck [GENERIC_OPTIONS] <path> [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]]
| *命令選項* | *描述* |
|---|---|
| 檢查的起始目錄。 | |
| -move | 移動受損文件到/lost+found |
| -delete | 刪除受損文件。 |
| -openforwrite | 打印出寫打開的文件。 |
| -files | 打印出正被檢查的文件。 |
| -blocks | 打印出塊信息報告。 |
| -locations | 打印出每個塊的位置信息。 |
| -racks | 打印出data-node的網絡拓撲結構。 |
jar
運行jar文件。用戶可以把他們的Map Reduce代碼捆綁到jar文件中，使用這個命令執行。
用法：hadoop jar <jar> [mainClass] args...
job
用於和Map Reduce作業交互和命令。
用法：hadoop job [GENERIC_OPTIONS] [-submit <job-file>] | [-status <job-id>] | [-counter <job-id> <group-name> <counter-name>] | [-kill <job-id>] | [-events <job-id> <from-event-#> <#-of-events>] | [-history [all] <jobOutputDir>] | [-list [all]] | [-kill-task <task-id>] | [-fail-task <task-id>]
| *命令選項* | *描述* |
|---|---|
| -submit | 提交作業 |
| -status | 打印map和reduce完成百分比和所有計數器。 |
| -counter | 打印計數器的值。 |
| -kill | 殺死指定作業。 |
| -events <from-event-#> <#-of-events> | 打印給定範圍內jobtracker接收到的事件細節。 |
| -history [all] | -history 打印作業的細節、失敗及被殺死原因的細節。更多的關於一個作業的細節比如成功的任務，做過的任務嘗試等信息可以通過指定[all]選項查看。 |
| -list [all] | -list all顯示所有作業。-list只顯示將要完成的作業。 |
| -kill-task | 殺死任務。被殺死的任務不會不利於失敗嘗試。 |
| -fail-task | 使任務失敗。被失敗的任務會對失敗嘗試不利。 |
pipes
運行pipes作業。
用法：hadoop pipes [-conf <path>] [-jobconf <key=value>, <key=value>, ...] [-input <path>] [-output <path>] [-jar <jar file>] [-inputformat <class>] [-map <class>] [-partitioner <class>] [-reduce <class>] [-writer <class>] [-program <executable>] [-reduces <num>]
| *命令選項* | *描述* |
|---|---|
| -conf |
作業的配置 |
| -jobconf <key=value>, <key=value>, … | 增加/覆蓋作業的配置項 |
| -input |
輸入目錄 |
| -output |
輸出目錄 |
| -jar | Jar文件名 |
| -inputformat | InputFormat類 |
| -map | Java Map類 |
| -partitioner | Java Partitioner |
| -reduce | Java Reduce類 |
| -writer | Java RecordWriter |
| -program | 可執行程序的URI |
| -reduces | reduce個數 |
version
打印版本信息。
用法：hadoop version
CLASSNAME
hadoop腳本可用於調調用任何類。
用法：hadoop CLASSNAME
運行名字爲CLASSNAME的類。
5.管理命令
hadoop集羣管理員常用的命令。
balancer
運行集羣平衡工具。管理員可以簡單的按Ctrl-C來停止平衡過程。參考Rebalancer瞭解更多。
用法：hadoop balancer [-threshold <threshold>]
| *命令選項* | *描述* |
|---|---|
| -threshold | 磁盤容量的百分比。這會覆蓋缺省的閥值。 |
daemonlog
獲取或設置每個守護進程的日誌級別。
用法：hadoop daemonlog -getlevel <host:port> <classname>
用法：hadoop daemonlog -setlevel <host:port> <classname> <level>
| *命令選項* | *描述* |
|---|---|
| -getlevel host:port | 打印運行在host:port的守護進程的日誌級別。這個命令內部會連接http://host:port/logLevel?log= |
| -setlevel host:port | 設置運行在host:port的守護進程的日誌級別。這個命令內部會連接http://host:port/logLevel?log= |
datanode
運行一個HDFS的datanode。
用法：hadoop datanode [-rollback]
| *命令選項* | *描述* |
|---|---|
| -report | 報告文件系統的基本信息和統計信息。 |
| -safemode enter | leave | get | wait | 安全模式維護命令。安全模式是Namenode的一個狀態，這種狀態下，Namenode 1. 不接受對名字空間的更改(只讀)2. 不復制或刪除塊Namenode會在啓動時自動進入安全模式，當配置的塊最小百分比數滿足最小的副本數條件時，會自動離開安全模式。安全模式可以手動進入，但是這樣的話也必須手動關閉安全模式。 |
| -refreshNodes | 重新讀取hosts和exclude文件，更新允許連到Namenode的或那些需要退出或入編的Datanode的集合。 |
| -finalizeUpgrade | 終結HDFS的升級操作。Datanode刪除前一個版本的工作目錄，之後Namenode也這樣做。這個操作完結整個升級過程。 |
| -upgradeProgress status | details | force | 請求當前系統的升級狀態，狀態的細節，或者強制升級操作進行。 |
| -metasave filename | 保存Namenode的主要數據結構到hadoop.log.dir屬性指定的目錄下的文件。對於下面的每一項，中都會一行內容與之對應1. Namenode收到的Datanode的心跳信號2. 等待被複制的塊3. 正在被複制的塊4. 等待被刪除的塊 |
| -setQuota … | 爲每個目錄 設定配額。目錄配額是一個長整型整數，強制限定了目錄樹下的名字個數。命令會在這個目錄上工作良好，以下情況會報錯：1. N不是一個正整數，或者2. 用戶不是管理員，或者3. 這個目錄不存在或是文件，或者4. 目錄會馬上超出新設定的配額。 |
| -clrQuota … | 爲每一個目錄清除配額設定。命令會在這個目錄上工作良好，以下情況會報錯：1. 這個目錄不存在或是文件，或者2. 用戶不是管理員。如果目錄原來沒有配額不會報錯。 |
| -help [cmd] | 顯示給定命令的幫助信息，如果沒有給定命令，則顯示所有命令的幫助信息。 |
secondarynamenode
運行HDFS的secondary namenode。
用法：hadoop secondarynamenode [-checkpoint [force]] | [-geteditsize]
| *命令選項* | *描述* |
|---|---|
| -checkpoint [force] | 如果EditLog的大小 >= fs.checkpoint.size，啓動Secondary namenode的檢查點過程。 如果使用了-force，將不考慮EditLog的大小。 |
| -geteditsize | 打印EditLog大小。 |
5.2.2 進程管理
1. 查看當前系統中啓動的進程
命令如下：
# jps
執行結果如下：
2. 重啓NameNode和DateNode進程
hadoop-daemon.sh腳本是啓動和停止hadoop後臺程序，“--config”參數指定啓動程序時用到的配置文件目錄。
命令如下：
# /usr/hdp/current/hadoop-client/sbin/hadoop-daemon.sh --config /usr/hdp/current/hadoop-client/conf stop {namenode/datenode}
# /usr/hdp/current/hadoop-client/sbin/hadoop-daemon.sh --config /usr/hdp/current/hadoop-client/conf start {namenode/datenode}
5.2.3 可靠性管理
Hadoop集羣中的主機在某些情況下會出現宕機或者系統損壞的問題，一旦遇到這些問題，HDFS文件系統中的數據文件難免會產生損壞或者丟失，爲了保證HDFS文件系統的可靠性，可以採取以下策略：
1. 冗餘副本策略
更改集羣冗餘副本的複製因子爲5，從而避免某臺節點主機損壞導致數據丟失的情況，這裏我們有兩種方式來設置複製因子。
第一種是通過WEB界面，進入到HDFS配置中修改Block replication的參數值。
第二種方式是在Shell命令行模式下，修改hdfs-site.xml配置文件，將“dfs.replication”的值設置爲5，然後重啓NameNode和DataNode進程。
# vi /etc/hadoop/2.3.6.0-3796/0/hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>5</value>
</property>
2. 安全模式
當在進行系統維護或者集羣維護時，不希望用戶進行再去操作HDFS文件系統中文件，這時候需要手動將NameNode設置成安全模式的狀態。該操作需要HDFS管理用戶來進行實現，即hdfs用戶。
命令如下：
$ hadoop dfsadmin -safemode enter
$ hadoop dfsadmin -safemode get
執行結果如下：
Safe mode is ON
3. 回收站
設置HDFS文件系統回收站中的文件徹底刪除的時間間隔爲7天。進入到HDFS配置中修改“fs.trash.interval”的值爲10080（分鐘）。注：當該值爲0時，表示禁用回收站的功能。
4. 快照管理
爲HDFS文件系統中“/cheng”目錄創建快照，首先需要設置該目錄可進行快照功能，然後再進行創建快照。
5.3 MapReduce
5.3.1 運行案例
進入/usr/hdp/2.6.1.0-129/hadoop-mapreduce/目錄中，存在一個hadoop-mapreduce-examples-2.7.3.2.6.1.0-129.jar 的案例JAR包，其所自帶的案例如下：
這裏，我們以運行一個圓周率的計算爲例：
# cd /usr/hdp/2.6.1.0-129/hadoop-mapreduce/
# hadoop jar hadoop-mapreduce-examples-2.7.3.2.6.1.0-129.jar pi 5 5
