這段時間正在學習大數據高級開發課程,出於知識的鞏固和知識的分享,我會根據課程內容逐漸發佈一些學習筆記和心得,希望能得到大家的指正,一起學習大數據開發技術 。
本套筆記預計50節課程,課程基於開課吧廖雪峯大神最新課程(我自己報的班,花費了8900大洋),課程基於最新的hadoop3.x版本,涵蓋hadoop生態圈大廠常用技術,同時,在學習過程中會穿插一些實踐項目,筆記中會盡量列出課程的知識點,如果有需要完整課程內容的可以私下聯繫我:QQ:45770216
注:課程可能需要有一些編程經驗,因爲筆記中的一些常識問題大家百度一下就知道了,我就沒有進一步說明了,我只列出課程的關鍵知識點。
課程目錄
附:
大數據課程課前環境準備
一、電腦準備
- 準備一臺內存最少8G(建議16G)、cpu i5 4核的電腦
因爲具體配置步驟太多,這裏就是簡單列舉一下步驟,詳細操作請到網盤下載詳細教程:
鏈接:https://pan.baidu.com/s/1vUXQeZDwPNu7mdnZJsquHA 提取碼:7w7t
複製這段內容後打開百度網盤手機App,操作更方便哦
注:1、我們以後的學習,只創建最小的集羣(使用三副本),所以需要使用了三臺虛擬機,每臺虛擬機至少配置2G內存,1核CPU。
2、教程使用的是MarkDown格式,可以直接安裝壓縮包中的typora-setup-x64.exe工具打開。
二、安裝步驟
1、三臺linux虛擬機的安裝及網絡配置
2、虛擬機時鐘同步、添加用戶、授權、免密登錄
3、hadoop集羣安裝
4、配置hadoop環境變量
5、格式化集羣
6、啓動集羣
7、常用命令腳本編寫
8、驗證集羣是否搭建成功