如題，因有需求，這兩天在弄這個Spark，用的是AWS的EMR，具體是什麼就不解釋了。上面這個問題卡了很久，故在此記錄一下。
- Spark支持多種語言，如Scala、Java、Python、R，我用的是Python。
官方有個叫WordCount的Example，我沒看，直接照着文檔擼代碼。Spark文檔地址
初始化代碼很簡單，如下：
# main.py
from pyspark import SparkContext
from pyspark.streaming import StreamingContext
from pyspark.streaming.kinesis import KinesisUtils, InitialPositionInStream
aws_access_key_id = 'your-aws-access-key-id'
aws_secret_access_key = 'your-aws-secret-access-key'
if __name__ == '__main__':
sc = SparkContext('local[*]', 'first_test0809')
ssc = StreamingContext(sc, 1)
kinesis_stream = KinesisUtils.createStream(
ssc,
'ssc_kinesis',
'kinesistest',
'https://kinesis.us-west-2.amazonaws.com',
'region-name',
InitialPositionInStream.TRIM_HORIZON,
2,
awsAccessKeyId=aws_access_key_id,
awsSecretKey=aws_secret_access_key
)
kinesis_stream.pprint(500)
ssc.start()
ssc.awaitTermination()
kinesistest是我創建的一個kinesis streaming，會有源源不斷的數據寫到這個streaming裏，Spark負責處理這個streaming裏的數據。
接下來就是將這個文件部署到EMR上，依然是照着文檔來操作。文檔地址
不得不說，AWS的文檔既簡約又簡單，卻不明瞭，在這個文檔的指引下，沒有一次我是順利走通的。
添加Step的命令：
aws emr add-steps --cluster-id j-2AXXXXXXGAPLF --steps Type=Spark,Name="Spark Program",ActionOnFailure=CONTINUE,Args=[--class,org.apache.spark.examples.SparkPi,/usr/lib/spark/lib/spark-examples.jar,10]
這個命令要分爲兩部分來看，前部分是AWS自身的命令aws emr add-steps，後部分就是Args這個參數的值。
因爲部署Spark程序實際上用的是spark-submit命令，而Args的值，都會傳給spark-submit。
前半部分比較簡單，cluster-id就是在創建EMR集羣后自動生成的id，這裏需要注意的是，創建的EMR集羣必須要設置共有IP，這樣外部機器才能訪問到。Type固定爲Spark，Name自己隨便寫，ActionOnFailure一般都傳CONTINUE，其他可選值可通過aws emr add-steps help查看。
後半部分的Args的相關說明在這裏，說的很詳細。
在部署運行之後，會報一些ClassNotFound的錯誤，這種錯誤不要緊，把缺的jar文件當作參數傳上去就能解決問題。Maven搜索地址1 | Maven搜索地址2
上面的main.py用到了兩個沒有的jar文件，kinesisi和kcl，爲了便於觀看，使用了另一種格式，如下：
aws emr add-steps --cluster-id j-2AXXXXXXGAPLF --steps file://./step.json
將參數都抽取到一個josn文件中：
[
{
"Name": "Spark Program",
"Type": "Spark",
"ActionOnFailure": "CONTINUE",
"Args": [
"--master",
"local",
"--jars",
"local:///home/hadoop/spark-streaming-kinesis-asl_2.11-2.4.3.jar,local:///home/hadoop/amazon-kinesis-client-1.11.1.jar",
"local:///home/hadoop/main.py"
]
}
]
注意，命令中所用到的所有文件，包括jar和py，都需要提前上傳到機器上。具體上傳方法見aws emr put命令
至此，所有的工作基本完成，你以爲這樣就可以跑起來了嗎？
NO！
最麻煩的問題，就是Spark版本的問題。之前用的最多、最穩定的就是1.6.5版本的，現在最新版已經2.4.3了，裏面變動不小，尤其是Logging這個類，直接內部化了。
仔細看會發現，上面的kinesis jar文件有兩個版本號：2.11-2.4.3，後面的2.4.3是Spark大版本，前面的是什麼我沒查。在Maven裏，這個版本最新的是2.12，所以最開始的時候我直接用了最新的，因爲網上一直在強調的都是後面的2.4.3這個版本號，結果就出問題了，如題所寫，總是報NoSuchMethodError。
2.0之前的，Logging的位置是org.apache.spark.Logging，2.0之後變成了org.apache.spark.internal.Logging，但我用的都是最新版，爲什麼總說找不到呢？想了想，想了又想，試了各種辦法，都行不通，這個過程持續了一天多，讓人頭大。
後來不知是巧合，還是時候到了，偶然發現cluster機器上spark-core的版本號是2.11-2.4.3，報着嘗試的心態從Maven下了2.11-2.4.3的kinesis jar文件，換上去一跑，哎，就這麼成了。真是氣人。
所以說呢，有些時候解決問題是很簡單的，困難的是發現問題。