idea+scala+spark+jdk+win

1.下载idea社区版,安装scala插件

2.下载spark和对应版本scala(重要http://spark.apache.org/docs/latest/index.html)jdk 8  sbt

3.安装spark scala jdk sbt并添加相应环境变量

4.新建 scala项目   + sbt   

5.点击structure project 添加spark jar文件(spark/jar文件)

6.new ->scala class->object->添加代码

 

两个问题:1. Failed to locate the winutils binary in the hadoop binary path

                  2.Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

解决办法:hadoop在文中缺少依赖库,下载(https://github.com/4ttty/winutils),其中的2.7.1适用于已经安装的hadoop2.7.7,把bin下的所有文件复制粘贴到hadoop/bin下,已有的就选择跳过,即可解决这俩问题

 

运行代码时错误:error: not found: value sqlContext

解决办法:不同版本造成,把sqlContext换成spark.sqlContext解决问题,参见:https://stackoverflow.com/questions/42993521/apache-spark-error-not-found-value-sqlcontext

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章