原创 在idea中訪問spark集羣報錯

通過spark-submit或者idea中提交jar包報錯 18/09/28 09:41:52 ERROR TaskSchedulerImpl:Exiting due to error from cluster scheduler: All

原创 HBase入門——HBase入門系列鏈接

鏈接 最近在學習Hbase的過程中發現了系列好文分享下,貌似都是大廠的猿猿們分享的,文章值得學習,分享精神和他們的學習方式更值得借鑑。 HBase最佳學習資料彙總 簡明HBase入門教程-Write全流程 HBase入門教程-Flush與C

原创 dropWhile刪除從第一個元素開始匹配,匹配失敗則停止匹配

val set1=Set("a","b","c") val set2=Set("c","d","e") var set3=set1.drop(2) println(s"set3 drop first tow ele

原创 Spark_Streaming源碼解析之概覽

sparkStreaming源碼思維腦圖: 腦圖詳解: 此博文共分爲四個部分: DAG定義 Job動態生成 數據的產生與導入 容錯 腦圖製作參考

原创 Spark——Streaming源碼解析之數據的產生與導入

此文是從思維導圖中導出稍作調整後生成的,思維腦圖對代碼瀏覽支持不是很好,爲了更好閱讀體驗,文中涉及到的源碼都是刪除掉不必要的代碼後的僞代碼,如需獲取更好閱讀體驗可下載腦圖配合閱讀: 此博文共分爲四個部分: DAG定義 Job動態生成 數據