(四)win10安裝Scala和Spark

相關內容參考

專欄:大數據入門

【軟件安裝】(一)win10安裝hadoop 2.8.5(詳細步驟)

(二)win10 Eclipse上配置Hadoop(詳細步驟)

(三)Hadoop簡單應用 單詞統計

目錄

1 scala

1.1 下載    1.2 .msi安裝(無需配置)     1.3 .zip安裝+配置            1.4 測試

2 spark

2.1 下載解壓               2.2 配置測試

3 踩坑記錄

【已解決】報錯:WARN ProcfsMetricsGetter


 

1 scala

1.1 下載

官方下載網址 或 github下載zip

1.2 .msi安裝(無需配置)

安裝完後,path中自動添加路徑,方便

1.3 .zip安裝+配置

解壓後還要配置環境變量

1.4 測試

2 spark

2.1 下載解壓

官方下載網址

跳轉頁面後繼續點擊

2.2 配置測試

3 踩坑記錄

【已解決】報錯:WARN ProcfsMetricsGetter:

Exception when trying to compute pagesize, as a result reporting of ProcessTree metrics is stopped

思路:看了很多博客,比如java安裝路徑帶空格、python路徑等,都沒有用。

後來翻開了朋友的安裝路徑,發現是spark版本問題。

最開始選的spark版本爲v3.0.0,但是不太合適,改成v2.4.6,就ok了。

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章