spark（二）：本地安裝

說明

本博客每週五更新一次。 本文介紹win10系統下spark安裝，通過安裝輔助理解spark。

安裝模式

spark有四種安裝模式，具體如下：

模式名稱	說明
單機模式	單臺機器部署，主要用於開發測試
Standalone模式	多臺機器構建Master+Slave的Spark集羣，任務運行在spark集羣中，數據量不多推薦使用。
Spark On yarn	Spark任務提交到hadoop集羣yarn上，不需要額外構建Spark集羣
Spark On Mesos	提交任務到Mesos，不需要額外spark全

本地安裝spark

環境

• 系統 win10
• java jdk1.8，具體步驟這裏不說明。

下載

打開apache資源庫頁面地址

這裏下載 spark-3.1.2-bin-hadoop3.2.tgz版本

解壓並啓動

• 解壓安裝包到安裝目錄 -cmd.png)

• 啓動項目，安裝目錄bin目錄下運行cmd，執行spark-shell

驗證

web頁面

運行spark-shell後，打開瀏覽器輸入：http://localhost:4040/jobs/，可看到spark web頁面。

實例

bin目錄打開cmd，執行：run-example SparkPi，輸出如下內容，標識成功。

總結

• 安裝先嚐試了非hadoop版安裝包，結果jar包缺失，不全後報錯，最後選擇支持hadoop的，最後安裝成功。
• 當下生活，如果感覺順心幸福，身邊某人必定替你承擔很多壓力，如果平淡小麻煩不斷，不必擔心，這就是生活。