CentOs6.8 hadoop集羣搭建過程中的問題

1.Error: Java heap space

網上有很多說是java虛擬機內存不夠的,我也試着修改內存大小,但是沒起作用,後來發現是文件在傳輸過程中失真。文件在上傳到HDFS後變成亂碼,重新上傳文件後解決。同樣的問題有很多解法,主要還是要細心。


2.MapReduce的任務一直卡在running job

Yarn-site.xml配置錯誤


3.搭建hive的過程中使用mysql作爲元數據庫,出現了這個問題,檢查發現是配置文件寫錯了。

4.vmware安裝無法打開內核設備 \\.\Global\vmx86: 系統找不到指定的文件
解決方案:
    我的電腦--管理--服務--找到VMware開頭的服務都打開。

5.  mysql安裝過程中的pid問題

解決方法:1.進入root用戶,執行 vim  /etc/selinux/config ,將SELINUX=enforcing改成SELINUX=disabled。重啓虛擬機。

                   2.Ps –ef | grep mysql 找到正在運行的進程,殺掉,重新啓動mysql服務。

                   3.修改/etc/my.ini文件,把裏面的有關utf-8的配置項刪掉,再執行2步驟。

                   4.刪除/etc/my.ini ,這個我也不知道爲什麼,沒有配置文件反而啓動成功。

6.設置動態IP後在開啓虛擬機後要檢查一下ip是否有變化,ip變化後要改/etc/hosts/文件,在CentOs7中hosts文件改爲hostname,在/etc/hostname 中

7.格式化要注意的問題:格式化要刪除數據文件hadoopdata,兩個節點的hadoopdata都要刪除,然後再創建hadoopdata目錄,再進行格式化,hadoopdata是分佈式中自己配置的路徑,如果配置的是僞分佈式,默認報錯在/tmp下,刪除/tmp下所有的文件即可。

8.網絡連接不通可以查看下虛擬網絡編輯器,建議在打開VMware的時候以管理員身份運行。


發佈了55 篇原創文章 · 獲贊 59 · 訪問量 11萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章