spark windows 单机 安装

0目标

单机windows上,运行spark


1  前期准备

jdk 1.7 

2  下载spark 包

官网 http://spark.apache.org/downloads.html  下载响应的hadoop版本的spark,spark-1.6.2-bin-hadoop2.6,spark1.6.2,内嵌hadoop2.6,不要要without的

解压到D:\software\spark-1.6.2-bin-hadoop2.6

将D:\software\spark-1.6.2-bin-hadoop2.6设为SPARK_HOME变量

将D:\software\spark-1.6.2-bin-hadoop2.6\bin 添加到windows 系统Path变量

3 安装windows环境下hadoop依赖

spark是基于hadoop的额,运行过程调用hadoop库,将hadoop2.6编译好的包,下载解压hadoop-2.6.0.tar.gz

https://www.barik.net/archive/2015/01/19/172716/

将D:\software\hadoop-2.6.0设为HADOOP_HOME变量

将D:\software\hadoop-2.6.0\bin添加到系统Path变量中



发布了36 篇原创文章 · 获赞 10 · 访问量 7万+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章