原创 DataNode文件系統源碼分析
在DataNode的本地存儲空間上，與存儲服務密切相關的，比如創建數據塊，恢復數據塊，數據塊校驗等相關的代碼都在org.apache.hadoop.hdfs.server.datanode.fsdataset包下(代碼版本CDH5.
2018-09-11 07:19:22
9
原创 spark1.0編譯並解決與cdh5.0兼容問題
最近想將spark升級到1.0，看了看官網的介紹，1.0的變動還是蠻大的，包括提交的方式，加入對kafka,flume等的支持。於是官網下載1.0的source自己用maven編譯。 首先需要升級下scala,0.9對應的是s
2018-09-11 07:19:22
4
原创 Storm Transport OptionalDataException問題解決
使用的Storm版本是0.9.2,在運行一段時間後(時間不定，最快幾十分鐘)，某個worker會報如下異常java.lang.RuntimeException: java.lang.RuntimeException: java.io
2018-09-11 07:19:22
7