原创 大數據系列教程008-DFS介紹
1.DFS介紹 由於一臺機器的存儲容量有限,一旦數據量達到足夠的級別,就需要將數據存放在多臺機器上,這就是分佈式文件系統,又稱之爲 DFS(Distributed File System),DFS 是 HDFS 的基礎。 2.什麼是D
原创 大數據系列教程006-開啓日誌聚合功能
Container日誌是hadoop各個container記錄的日誌,其中會包含錯誤或失敗的重要信息。如果沒有打開日誌聚合,默認是分佈在各個nodemanager節點上的。如果打開了日誌聚合選項,則會統一放在集中的位置(比如HDFS上)。
原创 大數據系列教程007-windows配置hosts
1.修改windows的hosts配置,爲了方便通過主機名訪問虛擬機 2.在C盤windows文件中找到System32-->drivers-->etc,進入到etc文件夾中就能看到hosts文件 3.修改 4.如遇360提示劫持域
原创 大數據系列教程005-NTP方式同步服務器時間
版權聲明:大數據系列教程文章由Java潘老師辛苦原創,免費公開供java愛好者學習。如需轉載請獲得潘老師授權並保留原文鏈接,如有疑問或建議,可以聯繫潘老師: Q:1562691348 V:A1562691348 本教程學習知識儲備:Ja
原创 大數據系列教程004-完全分佈式環境搭建步驟
版權聲明:大數據系列教程文章由Java潘老師辛苦原創,免費公開供java愛好者學習。如需轉載請獲得潘老師授權並保留原文鏈接,如有疑問或建議,可以聯繫潘老師: Q:1562691348 V:A1562691348 本教程學習知識儲備:Ja
原创 hadoop啓動發現datanode啓動失敗,查看日誌提示java.io.IOException: Incompatible clusterIDs
今天有個學生問我一個問題,說自己搭建的hadoop環境,在啓動後通過jps指令查看進程發現DateNode進程消失了,不知道是什麼原因,下面看看我們是如何來解決的! 第一步:DataNode進程啓動失敗需要確定啓動失敗的原因,可以到log
原创 大數據系列教程003-hadoop僞分佈式環境搭建步驟03-安裝虛擬機CentOS7
聲明:大數據系列教程文章由Java潘老師辛苦原創,免費公開供java愛好者學習。如需轉載請獲得潘老師授權並保留原文鏈接,如有疑問或建議,可以聯繫潘老師: Q:1562691348 V:A1562691348 本教程學習知識儲備:Java
原创 大數據系列教程003-hadoop僞分佈式環境搭建步驟06-永久關閉防火牆
聲明:大數據系列教程文章由Java潘老師辛苦原創,免費公開供java愛好者學習。如需轉載請獲得潘老師授權並保留原文鏈接,如有疑問或建議,可以聯繫潘老師: Q:1562691348 V:A1562691348 本教程學習知識儲備:Java
原创 大數據系列教程003-hadoop僞分佈式環境搭建步驟07-新建hadoop用戶
聲明:大數據系列教程文章由Java潘老師辛苦原創,免費公開供java愛好者學習。如需轉載請獲得潘老師授權並保留原文鏈接,如有疑問或建議,可以聯繫潘老師: Q:1562691348 V:A1562691348 本教程學習知識儲備:Java
原创 大數據系列教程003-hadoop僞分佈式環境搭建步驟09-安裝jdk
聲明:大數據系列教程文章由Java潘老師辛苦原創,免費公開供java愛好者學習。如需轉載請獲得潘老師授權並保留原文鏈接,如有疑問或建議,可以聯繫潘老師: Q:1562691348 V:A1562691348 本教程學習知識儲備:Java
原创 大數據系列教程003-hadoop僞分佈式環境搭建步驟08-設置ssh免密登陸
聲明:大數據系列教程文章由Java潘老師辛苦原創,免費公開供java愛好者學習。如需轉載請獲得潘老師授權並保留原文鏈接,如有疑問或建議,可以聯繫潘老師: Q:1562691348 V:A1562691348 本教程學習知識儲備:Java
原创 大數據系列教程003-hadoop僞分佈式環境搭建步驟04-設置靜態ip
聲明:大數據系列教程文章由Java潘老師辛苦原創,免費公開供java愛好者學習。如需轉載請獲得潘老師授權並保留原文鏈接,如有疑問或建議,可以聯繫潘老師: Q:1562691348 V:A1562691348 本教程學習知識儲備:Java
原创 大數據系列教程003-hadoop僞分佈式環境搭建步驟10-安裝與設置hadoop
聲明:大數據系列教程文章由Java潘老師辛苦原創,免費公開供java愛好者學習。如需轉載請獲得潘老師授權並保留原文鏈接,如有疑問或建議,可以聯繫潘老師: Q:1562691348 V:A1562691348 本教程學習知識儲備:Java
原创 大數據系列教程003-hadoop僞分佈式環境搭建步驟11-啓動與驗證環境
聲明:大數據系列教程文章由Java潘老師辛苦原創,免費公開供java愛好者學習。如需轉載請獲得潘老師授權並保留原文鏈接,如有疑問或建議,可以聯繫潘老師: Q:1562691348 V:A1562691348 本教程學習知識儲備:Java
原创 大數據系列教程003-hadoop僞分佈式環境搭建步驟05-永久修改主機名
聲明:大數據系列教程文章由Java潘老師辛苦原創,免費公開供java愛好者學習。如需轉載請獲得潘老師授權並保留原文鏈接,如有疑問或建議,可以聯繫潘老師: Q:1562691348 V:A1562691348 本教程學習知識儲備:Java