Spark---ending

哈哈。。。終於把Spark這部分的源碼寫完了，講得這幾個部分中當然會有很多不足或者說不正確的地方，因此希望各位網友積極指正。。。學習Spark純屬個人興趣愛好，學習的過程中也是很枯燥的，特別是在閱讀源碼的過程中，同時因爲Spark剛剛興起，關於Spark的書籍，資料並不是很齊全，因此在學習的過程中碰到問題就只能從網上尋找幫助了，不過，整個過程我還是收穫頗多，至少，在以後的學習過程中我可以保持踏實，耐心。。。
接下來，對Spark進行下收尾工作啦。。。
推薦幾個比較好的Spark學習的網站：
http://www.tuicool.com/search?kw=spark
http://blog.csdn.net/anzhsoft?viewmode=contents
還有些待完成的工作：shuffle的過程，包括shufflewrite，shuffle read  希望今後有機會能繼續學習。。。
講下Spark on yarn部署的具體過程
1.在Windows環境下藉助Eclipse編寫好應用程序

2.準備好程序中涉及到的文件
2.1 將文件上傳到遠程服務器端，這裏使用的遠程連接工具爲SecureCRT
上傳文件的命令：rz

2.2 將文件上傳到hdfs中
如果namenode 處於安全模式，則我們不能任意修改hdfs，包括添加，刪除文件等等

可以通過如下命令進出安全模式即可

3.將應用程序導出爲jar包

4.將導出的jar包從桌面導入到遠程服務器端中，方法如上
輸入rz命令
5.輸入運行命令

6.靜待結果
哈哈。。。完工。。
未完待續。。。開始寫點別的了。。。