這篇文章主要介紹了hadoop遷移數據應用實例,非常不錯，具有一定的參考借鑑價值，需要的朋友可以參考下
項目開發中hadoop一直裝在虛擬機上，最近要遷移到服務器上。記錄下遷移過程。
一、爲虛擬機添加一塊新的硬盤
虛擬機的初始硬盤只有30G，容不開要導出的數據。兩種方式，一是給虛擬機擴容；二是爲虛擬機添加一塊新的硬盤。這裏採取第二種方式。
1、添加虛擬硬盤
至此，添加硬盤成功。
2、將硬盤分區
要使用一塊新的硬盤，需要先將硬盤分區，然後掛在文件系統上才能使用。
這裏普及一下linux的文件系統與硬盤以及分區的關係。按照一個“由硬到軟”的順序來講，首先是硬盤，是物理的；我們要使用這個物理硬盤，需要將物理硬盤分成一個一個的分區；而我們在使用操作系統時，則通過文件系統來操作文件。文件系統這個“軟件“是通過分區與硬盤這個“硬件”進行聯繫的：硬盤分成區後，以分區的形式掛在文件系統上。
舉例比較windows與linux文件系統的區別：
對於windows來講，比如我們的電腦上只安裝了一塊硬盤，這個硬盤分了四個區，對應我們文件系統中的CDEF盤。即四個分區在我們使用者看來是平級的。這時如果添加了一個
對於linux來講，硬盤也是以分區的形式掛載在文件系統上。這點與windows一致。不同的是，windows有多個文件系統樹（C：D：E：F：），而linux只有一個文件系統樹，也就是我們看到的，所有的目錄以及文件都是在根目錄 / 下的。那麼linux是怎麼掛的呢？linux會將不同的分區掛在不同的目錄下。
如圖：
圖中，文件系統其實就是我們上邊講的分區，這些文件系統（分區）共同組成了我們linux整個的文件系統。這裏注意，其實文件系統與分區是統一的，可以認爲分區是文件系統的載體，我們上邊講它們兩者的關係，只是爲了進一步幫助理解。那麼既然分區是掛在linux的基於根目錄的這棵“樹”上的，我們就將分區掛的這個目錄稱爲掛載點。如上。
下邊我們來具體講解一下關於將硬盤分區的命令：
a、使用：fdisk -l 命令查看硬盤及分區信息，如圖：
圖中，使用矩形圍起來的是硬盤，一般硬盤會按照sda、sdb、sdc的順序依次添加。下邊兩塊硬盤暫時不要考慮。
使用橢圓圈起來的是分區，如硬盤sda有三個分區，分別是sda1、sda2、sda3。
可以看到箭頭指向的硬盤sdc沒有分區，這意味着這塊硬盤尚未被使用，這就是我們新添加的硬盤。
b、通過 fdisk /dev/sdc 對新硬盤進行分區
輸入m可以打印我們的操作菜單，注意上邊紅線圈出 的命令，n代表新建一個分區，p代表打印當前硬盤的分區表，w代表向硬盤寫入分區表。接下來我們依次執行。如圖：
輸入n，新建一個分區，兩個選項，p代表主分區，e代表擴展分區，選擇p主分區；第二次輸入p是爲了打印分區表，可以看到分區sdc1創建成功。創建過程中的分區好，起始扇區，last扇區使用默認值直接回車即可。最後輸入w，寫入分區。
c、使用 mkfs -t ext4 /dev/sdc1 將新分區格式化成ext4的格式
如圖：
d、通過 mount /dev/sdc1 /disk5 將新的分區sdc1掛載到目錄disk5下邊
如圖：
最後，我們通過df -lh /disk5 命令查看目錄disk5，發現其確實是新的分區sdc1，掛在成功。如此，便可正常使用新加的硬盤了。
小結：用到了 fdisk df mkfs mount 等幾個命令，注意複習。
二、hadoop的命令的使用
1、首先需要執行命令使hadoop命令能夠被識別。
export PATH=$PATH:/home/hadoop/hadoop-2.5.2/bin
2、hadoop的文件系統的命令與linux的命令十分一致，下邊舉例說明：
hadoop fs -ls / 表示列出根目錄下的所有文件（夾） hadoop fs -put readme.txt /user/hadoop/test/ 表示將readme.txt文件上傳到hdfs的/user/hadoop/test/目錄下 hadoop fs -get / /hadoop_data 表示將hdfs文件系統根目錄/下的所有文件（夾）導出到本地的/hadoop_data目錄下 hadoop fs -rm / 表示刪除hdfs文件系統中的所有文件（夾）
總結
以上所述是小編給大家介紹的hadoop遷移數據應用實例詳解，希望對大家有所幫助，如果大家有任何疑問歡迎給我留言，小編會及時回覆大家的！