scala的下載和安裝
scala是spark所用到的編程語言
下載scala:https://www.scala-lang.org/download/
安裝:
配置環境變量:
打開cmd,輸入scala
測試一下是否安裝成功:
spark下載和安裝
下載:http://spark.apache.org/downloads.html
安裝:
將下載包解壓到英文路徑下,路徑文件不要帶有空格,否則會有問題
環境配置:
將spark的路徑配置到環境變量中
之前安裝過anoconda,你可能在輸入spark-shell的時候報錯找不到指定路徑,那麼你需要將你的spark的環境變量path放在最前面
來自《win10安裝spark流程》
打開cmd輸入:spark-shell
測試成功與否
另外需要預先裝好Hadoop,不然可能會報一個關於Hadoop的錯誤
關於Hadoop的一系列教程可以參考:
大數據入門(一)環境搭建,VMware15+CentOS8.1 配置
https://blog.csdn.net/qq_34391511/article/details/104874044
大數據入門(二)Centos8,JDK 配置
https://blog.csdn.net/qq_34391511/article/details/104893587
大數據入門(三)CentOS 網絡配置
https://blog.csdn.net/qq_34391511/article/details/104895498
大數據入門(四)Hadoop 集羣搭建
https://blog.csdn.net/qq_34391511/article/details/104885278
大數據入門(五)windows 上搭建單機版 Hadoop2.8(踩坑記錄)
https://blog.csdn.net/qq_34391511/article/details/104948319
大數據入門(六)win10 對 Hadoop hdfs 的基本操作
https://blog.csdn.net/qq_34391511/article/details/105070955
大數據入門(七)win10 上 eclipse 使用 Hadoop 的配置
https://blog.csdn.net/qq_34391511/article/details/105066667
大數據入門(八)win10 下的 wordcount
https://blog.csdn.net/qq_34391511/article/details/105073076
大數據入門(九)基於 win10 的 Hadoop,java 代碼進行 hdfs 操作
https://blog.csdn.net/qq_34391511/article/details/105145380