大數據高級開發系列筆記--目錄

        這段時間正在學習大數據高級開發課程,出於知識的鞏固和知識的分享,我會根據課程內容逐漸發佈一些學習筆記和心得,希望能得到大家的指正,一起學習大數據開發技術 。

       本套筆記預計50節課程,課程基於開課吧廖雪峯大神最新課程(我自己報的班,花費了8900大洋),課程基於最新的hadoop3.x版本,涵蓋hadoop生態圈大廠常用技術,同時,在學習過程中會穿插一些實踐項目,筆記中會盡量列出課程的知識點,如果有需要完整課程內容的可以私下聯繫我:QQ:45770216

       注:課程可能需要有一些編程經驗,因爲筆記中的一些常識問題大家百度一下就知道了,我就沒有進一步說明了,我只列出課程的關鍵知識點

課程目錄

第一節課 Hadoop簡介

第二節課 HDFS文件系統

第三節課 HDFS常用命令

第四節課 使用JAVA API操作HDFS

第五節課 第一階段總結

 

附:

                                        大數據課程課前環境準備

一、電腦準備

  1. 準備一臺內存最少8G(建議16G)、cpu i5 4核的電腦

    因爲具體配置步驟太多,這裏就是簡單列舉一下步驟,詳細操作請到網盤下載詳細教程:

    鏈接:https://pan.baidu.com/s/1vUXQeZDwPNu7mdnZJsquHA      提取碼:7w7t 

複製這段內容後打開百度網盤手機App,操作更方便哦

    注:1、我們以後的學習,只創建最小的集羣(使用三副本),所以需要使用了三臺虛擬機,每臺虛擬機至少配置2G內存,1核CPU。

            2、教程使用的是MarkDown格式,可以直接安裝壓縮包中的typora-setup-x64.exe工具打開

           

二、安裝步驟

1、三臺linux虛擬機的安裝及網絡配置

2、虛擬機時鐘同步、添加用戶、授權、免密登錄

3、hadoop集羣安裝

4、配置hadoop環境變量

5、格式化集羣

6、啓動集羣

7、常用命令腳本編寫 

8、驗證集羣是否搭建成功

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章