centos下搭建單機和僞分佈式hadoop環境-(1)寫在前面

由於公司需求,所以最近一個月都在自學hadoop和spark的相關知識,因此,學習的第一步就是搭建開發環境,這裏先詳細介紹下hadoop開發環境的搭建。


寫在前面:

由於本人是hadoop和spark的初學者,博文中寫的不恰當或不正確的地方,望各位讀者多多提意見,再次謝謝大家!(ps:csdn的上傳圖片較慢,偶爾會上傳失敗,因此,搭建hadoop和spark環境相關的博客就不黏貼圖片了,但本人會儘可能的詳細說明開發環境的搭建過程)

本文要詳細介紹hadoop開發環境的搭建,在介紹之前先來區分下:單機和僞分佈式的區別?

單機模式(非分佈式模式):就是在一臺單機上運行hadoop程序,不存在分佈式文件系統,只是簡單的讀寫本地的文件系統。只能用來執行現有的程序(通常爲編譯好的jar包)。

僞分佈式模式:該模式也是在一臺單機上運行hadoop程序,和單機模式不同的地方在於,在該單機上會創建多個進程來虛擬多個節點來模擬分佈式中的各類節點,這樣構造的環境和多臺機器的執行程序的結果一樣,只是一臺機器充當了多臺機器的作用。(分佈式其實就是多臺機器充當不同的節點來充當計算or存儲的角色,讓數據的處理更快捷!)


發佈了65 篇原創文章 · 獲贊 11 · 訪問量 10萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章