原创 Scala併發編程實戰 - 2：Lock 鎖 Lock Scala栗子 本文代碼
synchronized作爲內置鎖，使用簡單，不易出錯，然鵝確有相當的侷限性，例如，無法從等待獲取鎖的阻塞中中斷，無法設置獲取鎖的超時。 所以JUC提供了另一種更靈活的加鎖方式，即Lock。 Lock Lock接口定義如下 public i
2020-06-15 19:17:22
原创 Maven用戶都應該知道的一些事：構建生命週期和插件 插件目標(Plugin Goal)是個什麼鬼 構建生命週期(Build Lifecycle)又是什麼 插件目標與生命週期的綁定 參考文獻
Maven的所有實際操作都是由插件完成的，如果沒有插件，Maven什麼都不會幹。 （即時你沒有在POM中配置<plugin>元素，Super POM中也已經幫你引入了若干核心插件） 那麼問題來了，項目構建過程中，Maven是怎麼知道應該在什
2020-06-15 19:17:22
原创 Spark Core解析 2：Scheduler 調度體系 Spark Core解析 2：Scheduler 調度體系
Spark Core解析 2：Scheduler 調度體系 Overview 調度系統，是貫穿整個Spark應用的主心骨，從調度系統開始入手瞭解Spark Core，比較容易理清頭緒。 Spark的資源調度採用的是常見的兩層調度，底層資源的
2020-06-15 19:17:22
原创 Maven用戶都應該知道的一些事：關於依賴的常見問題
依賴範圍(scope)不同選項的區別 依賴範圍參數的作用是控制依賴在不同階段與classpath的關係，具體區別如下圖所示。 表中沒有列出的值是import，這個選項是用於引入dependencyManagement，下文會有介紹。 依賴
2019-08-10 20:11:34
2
原创 Maven用戶都應該知道的一些事：構建生命週期和插件
Maven的所有實際操作都是由插件完成的，如果沒有插件，Maven什麼都不會幹。 （即時你沒有在POM中配置<plugin>元素，Super POM中也已經幫你引入了若干核心插件） 那麼問題來了，項目構建過程中，Maven是怎麼知道應該在什
2019-08-10 20:11:34
2
原创 Spark1.4~1.6 on YARN 部署
0.說明: 首先要部署好Hadoop集羣包括HDFS和YARN,這裏不再贅述. Spark on YARN模式,不需要啓動spark的master和worker,master的工作由YARN完成. 相關路徑根據實際情況修改. 1.4和1.
2018-12-28 13:45:14
原创 Spark 2.x讀寫MySQL
簡介 從 spark 2.0 開始，我們可以使用DataFrameReader 和 DataFrameWriter來讀寫MySQL。 SparkSession.read 返回 DataFrameReader. Dataset.write 返
2018-12-28 13:45:14
原创 Hive添加自定義UDF函數
1 編寫UDF類 以簡單的處理單個字段的UDF函數爲例,開發自定義UDF函數需要繼承'org.apache.hadoop.hive.ql.exec.UDF'類. 可以通過Maven添加,pom文件中加入(版本號跟Hive版本一致即可): <
2018-12-28 13:45:14