Spark開發中遇到的問題及解決方法

1、數據來源於HDFS，處理完成後同樣寫回HDFS的時候，遇到了HDFS的權限問題，提交程序的用戶爲root ，而root對HDFS沒有寫權限，這時可以通過僞造程序的使用者的方法解決：

	val conf = new SparkConf().setAppName("TestLogic")
			.set("fs.default.name","hdfs://udh-cluster-4:8020"）
               	 	.setMaster("spark://udh-cluster-4:7077")
               		.set("HADOOP_USER_NAME", "hdfs")

2、使用Standalone模式提交集羣的時候報錯All masters are unresponsive! Giving up 時，檢查程序中conf指定的master是否

跟集羣上的master的地址是相同的

3、運行時出現FileSystemClose的情況時，需要在conf中指定conf..set("fs.default.name","hdfs://udh-cluster-4:8020"）

並且最後需要執行SparkContext對象的Stop()方法.