學hadoop需要什麼基礎

最近一段時間一直在接觸關於 hadoop 方面的內容,從剛接觸時的一片空白,到現在也能夠說清楚一些問題。這中間到底經歷過什麼只怕也就是隻有經過的人才會體會到吧。前幾天看到有個人問“學 hadoop 需要什麼基礎”,這個問題好像至今還沒好好細想過,可能是因爲身邊有大神在帶着我學習 hadoop 的緣故,也就沒想過這樣的一個簡單的問題。

我們目前在用的 hadoop 版本並不是原生態的版本,我們在用的是國內的一款商業發行版,叫 DKhadoop 。大快搜索推出的一款原生態開發的 Hadoop 集成生態環境。從使用的效果上看 DKhadoop 與開源環境是可以做到完全兼容的。準備過段時間抽個空,試着寫一下以 DKhadoop 爲切入點關於學習 hadoop 需要掌握什麼基礎。
學hadoop需要什麼基礎

【 DKhadoop 基礎技術架構圖】

關於學 hadoop 需要什麼基礎這樣的問題,看到一篇關於介紹學習原生 hadoop 的分享,個人覺得還是很不錯的一篇文章。這裏也分享給大家,供參考之用。

關於學習 hadoop 需要具備什麼基礎知識,首先應該從整體瞭解 hadoop ,包括 hadoop 是什麼,能夠幫助我們解決什麼問題,以及 hadoop 的使用場景等。在有了整體上的瞭解後,就可以開始系統的學習 hadoop 。當然,若是能夠結合一些實踐性的東西學習會更有助於理解 hadoop 。

學習 hadoop 需要什麼基礎:

Linux :

①  需要能夠熟練操作 linux 常用命令以及網絡配置;

②  熟悉用戶以及權限管理操作;

③  需要熟悉軟件包以及系統命令管理;

④  還需要學習一下 shell 編程。

Java :

⑤  需要具備一定的 javase 基礎知識;

⑥  如果懂 java web 及各種框架知識那就更好了。

虛擬機:

⑦  需要掌握虛擬機;

⑧  需要安裝 linux 操作系統

⑨  需要配置虛擬機網絡

除了上述這幾個方面,我們還需要了解 hadoop 的單機模式、僞分佈模式和分佈式模式的搭建方式。 瞭解 MapReduce 分佈式計算框架、 Yarn 集羣資源管理和調度平臺、 hdfs 分佈式文件系統、 hive 數據倉庫、 HBase 實時分佈式數據庫、 Flume 日誌收集工具、 sqoop 數據庫 ETL 工具、 zookeeper 分佈式協作服務、 Mahout 數據挖掘庫等。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章