spark一些入門資料

spark一些入門資料

A Scala Tutorial for Java Programmers

http://docs.scala-lang.org/tutorials/scala-for-java-programmers.html

 

學習資源（視頻教程，書，例子等）

spark.apache.org/documentation.html

 

入門指南

spark.apache.org/docs/latest/quick-start.html

 

編程指南

spark.apache.org/docs/latest/programming-guide.html

 

官網自帶例子（極好，有local版，有spark版）

https://github.com/apache/spark/tree/master/examples/src/main/scala/org/apache/spark/examples

 

執行spark應用（利用spark-submit命令，其實最底層是java調用）

spark.apache.org/docs/latest/submitting-applications.html

./spark-submit --class"SimpleApp" --master local[4] /home/linger/scala_target/SimpleApp.jar

 

執行官網自帶的example可以利用run-example，該腳本封裝了spark-submit命令。

./run-example SparkPi

 

run-example腳本有這麼一句 EXAMPLE_MASTER=${MASTER:-"local[*]"}默認master是local[*]。

根據這句shell，可以有一個方法改變着master。

在調用該腳本之前，export MASTER=local（或者其他）。

目前不知道是否還有其他方法傳遞MASTER這個變量。

 

 

spark 開發環境搭建（不錯）

http://blog.csdn.net/wankunde/article/details/41843217

 

http://bit1129.iteye.com/blog/2172164

設置完成後，Error視圖報錯，說Eclipse依賴的Scala庫有兩份，一個是系統安裝的Scala(C:\Scala_2.11.4，一個是spark-assembly-1.2.0-hadoop2.4.0.jar中，而spark-assembly-1.2.0-hadoop2.4.0.jar中的版本是2.10.4，因此兩個版本不一致而導致衝突

因爲我們的代碼是在Spark中運行，而Spark使用的Scala版本是2.10.4，所以，開發環境中的Scala也應該是2.10.4，因此將2.11.4這個Scala庫從Java Build Path刪除掉

刪除了之後，Eclipse繼續報錯，如下所示，也就是說，項目依賴的Scala版本不如IDE的Scala版本新，解決辦法如下

右擊前面建的Scala項目，在右鍵彈出菜單中，選擇Scala，然後在級聯菜單中，選擇Set Scala Installation，在彈出的對話框中選擇，Fixed Scala Installation：2.10.4(bundled)

clean整個項目，Scala IDE的環境到此就配置完成了。

 

 

scala-eclipse運行出現錯誤

java.lang.ClassNotFoundException

 

scala-ide

http://scala-ide.org/download/sdk.html

 

 

sbt是scala的構建工具

www.scala-sbt.org/documentation.html

sbt安裝有點坑啊，安裝完之後啓動sbt還要下載東西

 

http://www.zhihu.com/question/23245141

 

SBT免翻牆手冊

http://afoo.me/posts/2014-11-05-how-make-sbt-jump-over-GFW.html

 

離線環境下構建sbt項目

http://shzhangji.com/blog/2014/11/07/sbt-offline/

 

 

Scala SBT 第一次運行時下載文件失敗

http://mooc.guokr.com/note/5879/

 

http://segmentfault.com/blog/zhongl/1190000002474507

加速 SBT 下載依賴庫的速度

 

http://ju.outofmemory.cn/entry/74281

問候sbt一千遍之：添加全局鏡像庫

 

spark和機器學習技術博客

http://www.cnblogs.com/fxjwind/

 

http://blog.csdn.net/sunbow0

 

--------------------------------------------------------------------------------------------------------------------

Spark運行調試方法與學習資源彙總

http://blog.csdn.net/melodyishere/article/details/32353929

 

IntelliJ IDEA 安裝scala插件，建立scalawith sbt project 的方法

http://8liang.cn/intellijidea-install-scala-plugin-create-with-sbt-project/

 

Apache spark的IntelliJ IDEA 開發環境搭建

http://8liang.cn/intellij-idea-spark-development/

 

Spark作業代碼(源碼)IDE遠程調試

http://www.iteblog.com/archives/1192

 

利用eclipse構建spark集成開發環境

http://datalab.int-yt.com/archives/505

 

Apache Spark學習：利用Eclipse構建Spark集成開發環境

http://dongxicheng.org/framework-on-yarn/spark-eclipse-ide/

spark一些配置信息

http://spark.apache.org/docs/latest/configuration.html

 

 本文作者：linger

本文鏈接：http://blog.csdn.net/lingerlanlan/article/details/46430915