原创 大數據系列教程008-DFS介紹

1.DFS介紹 由於一臺機器的存儲容量有限,一旦數據量達到足夠的級別,就需要將數據存放在多臺機器上,這就是分佈式文件系統,又稱之爲 DFS(Distributed File System),DFS 是 HDFS 的基礎。   2.什麼是D

原创 大數據系列教程006-開啓日誌聚合功能

Container日誌是hadoop各個container記錄的日誌,其中會包含錯誤或失敗的重要信息。如果沒有打開日誌聚合,默認是分佈在各個nodemanager節點上的。如果打開了日誌聚合選項,則會統一放在集中的位置(比如HDFS上)。

原创 大數據系列教程007-windows配置hosts

1.修改windows的hosts配置,爲了方便通過主機名訪問虛擬機 2.在C盤windows文件中找到System32-->drivers-->etc,進入到etc文件夾中就能看到hosts文件 3.修改   4.如遇360提示劫持域

原创 大數據系列教程005-NTP方式同步服務器時間

版權聲明:大數據系列教程文章由Java潘老師辛苦原創,免費公開供java愛好者學習。如需轉載請獲得潘老師授權並保留原文鏈接,如有疑問或建議,可以聯繫潘老師: Q:1562691348 V:A1562691348 本教程學習知識儲備:Ja

原创 大數據系列教程004-完全分佈式環境搭建步驟

版權聲明:大數據系列教程文章由Java潘老師辛苦原創,免費公開供java愛好者學習。如需轉載請獲得潘老師授權並保留原文鏈接,如有疑問或建議,可以聯繫潘老師: Q:1562691348 V:A1562691348 本教程學習知識儲備:Ja

原创 hadoop啓動發現datanode啓動失敗,查看日誌提示java.io.IOException: Incompatible clusterIDs

今天有個學生問我一個問題,說自己搭建的hadoop環境,在啓動後通過jps指令查看進程發現DateNode進程消失了,不知道是什麼原因,下面看看我們是如何來解決的! 第一步:DataNode進程啓動失敗需要確定啓動失敗的原因,可以到log

原创 大數據系列教程003-hadoop僞分佈式環境搭建步驟03-安裝虛擬機CentOS7

聲明:大數據系列教程文章由Java潘老師辛苦原創,免費公開供java愛好者學習。如需轉載請獲得潘老師授權並保留原文鏈接,如有疑問或建議,可以聯繫潘老師: Q:1562691348 V:A1562691348 本教程學習知識儲備:Java

原创 大數據系列教程003-hadoop僞分佈式環境搭建步驟06-永久關閉防火牆

聲明:大數據系列教程文章由Java潘老師辛苦原創,免費公開供java愛好者學習。如需轉載請獲得潘老師授權並保留原文鏈接,如有疑問或建議,可以聯繫潘老師: Q:1562691348 V:A1562691348 本教程學習知識儲備:Java

原创 大數據系列教程003-hadoop僞分佈式環境搭建步驟07-新建hadoop用戶

聲明:大數據系列教程文章由Java潘老師辛苦原創,免費公開供java愛好者學習。如需轉載請獲得潘老師授權並保留原文鏈接,如有疑問或建議,可以聯繫潘老師: Q:1562691348 V:A1562691348 本教程學習知識儲備:Java

原创 大數據系列教程003-hadoop僞分佈式環境搭建步驟09-安裝jdk

聲明:大數據系列教程文章由Java潘老師辛苦原創,免費公開供java愛好者學習。如需轉載請獲得潘老師授權並保留原文鏈接,如有疑問或建議,可以聯繫潘老師: Q:1562691348 V:A1562691348 本教程學習知識儲備:Java

原创 大數據系列教程003-hadoop僞分佈式環境搭建步驟08-設置ssh免密登陸

聲明:大數據系列教程文章由Java潘老師辛苦原創,免費公開供java愛好者學習。如需轉載請獲得潘老師授權並保留原文鏈接,如有疑問或建議,可以聯繫潘老師: Q:1562691348 V:A1562691348 本教程學習知識儲備:Java

原创 大數據系列教程003-hadoop僞分佈式環境搭建步驟04-設置靜態ip

聲明:大數據系列教程文章由Java潘老師辛苦原創,免費公開供java愛好者學習。如需轉載請獲得潘老師授權並保留原文鏈接,如有疑問或建議,可以聯繫潘老師: Q:1562691348 V:A1562691348 本教程學習知識儲備:Java

原创 大數據系列教程003-hadoop僞分佈式環境搭建步驟10-安裝與設置hadoop

聲明:大數據系列教程文章由Java潘老師辛苦原創,免費公開供java愛好者學習。如需轉載請獲得潘老師授權並保留原文鏈接,如有疑問或建議,可以聯繫潘老師: Q:1562691348 V:A1562691348 本教程學習知識儲備:Java

原创 大數據系列教程003-hadoop僞分佈式環境搭建步驟11-啓動與驗證環境

聲明:大數據系列教程文章由Java潘老師辛苦原創,免費公開供java愛好者學習。如需轉載請獲得潘老師授權並保留原文鏈接,如有疑問或建議,可以聯繫潘老師: Q:1562691348 V:A1562691348 本教程學習知識儲備:Java

原创 大數據系列教程003-hadoop僞分佈式環境搭建步驟05-永久修改主機名

聲明:大數據系列教程文章由Java潘老師辛苦原創,免費公開供java愛好者學習。如需轉載請獲得潘老師授權並保留原文鏈接,如有疑問或建議,可以聯繫潘老師: Q:1562691348 V:A1562691348 本教程學習知識儲備:Java