在spark開發環境中使用Standalone模式調試集羣運行

spark程序開發在生成環境中測試一直是個麻煩的問題，本地測試因爲數據量少，環境不同，也只能測出程序邏輯方面的問題，每次在Jar包丟到線上測試，然後修改在測試總是佔用着很長的時間，那麼spark能否在本地遠程的進行集羣的運行測試呢，答案顯然是可以的。
廢話不多說，來看看怎麼使用這個方法:（spark1.x）

    1.開發工具中導入spark項目
    2.設置遠程Master：sparkContext.set(Url)  這個Url一定是Master的hostName
    3.下載 hadoop-common-2.2.0-bin-master.jar  解壓到開發環境  配置HADOOP_HOME只想這個文件夾
    4.在本機host文件中 加入master的ip 對應master的hostName
    5.運行spark程序可以看到程序已經在生成環境中運行了，值得注意的是這是standalone模式

實際上在之前的開發中我也是使用丟Jar到集羣中運行的方式進行測試，在spark2.0出來以後，這個setMaster的方法不需要配置上述的任何步驟就可以運行，在體驗了spark2.0的setMaster方法後就再也不想回到這種丟jar測試的時代….