原创 notifyAll notify順序
今天看到一篇問題，提問線程喚醒順序。 具體代碼如下： import java.util.LinkedList; import java.util.List; public class ThreadRunSort { /**
2020-07-04 00:18:55
原创 hive 的相關關鍵字以及相應的補全規則
hive 查詢關鍵字總結 select查詢語句請求。它可以是一條完成的查詢語句同時還可以是別的查詢語句的子語句。 SELECT [ALL | DISTINCT] select_expr, select_expr, ... FROM
2018-08-22 13:52:04
原创 java自定義hive sparksql thriftServer連接池
由於公司需要做hive和sparksql查詢功能，且都通過thrift server進行查詢，那麼如何有效的創建鏈接並緩存鏈接就是比較關鍵的步驟了。 thrift connection類似於jdbc connection只是引入的dri
2018-08-22 13:52:01
原创 azkaban源碼解讀
azkaban源碼解讀 一. web server源代碼解析 1.配置文件讀取過程： 主要讀取的兩個配置文件爲： 1）讀取下面的2個文件 File azkabanPrivatePropsFile =
2018-08-22 13:52:01
11
原创 Azkaban調研
Azkaban調研 在作業設計器中，實用哪種作業工作流的引擎是最主要的，現在對Azkaban和Oozie進行調研。 一．Azkaban介紹 Azkaban是一個類似於Oozie的任務調度系統，它以flow爲執行單位進行調度，flow爲預定
2018-08-22 13:52:01
2
原创 Azkaban 3.0 分佈式安裝部署文檔
Azkaban 3.0 分佈式安裝部署文檔 一．簡介 Azkaban2.5支持兩種運行模式： 1.solo server mode：web 和 executor在同一個進程中執行，適用於H2 DB。 2.two server mode：
2018-08-22 13:52:01
7
原创 爲什麼jdbc鏈接時 只要class.forname("com.mysql.jdbc.Driver")即可？
以前都是照本宣科，網上怎麼寫鏈接mysql 就抄過來。。今天覺得無聊，自己看了看mysql driver的源碼類。具體瞭解下其工作原理： 首先class.forname（String className） 這個方法會調用相應的class
2018-08-22 13:52:01
原创 Oozie 大致概覽
Oozie調研 在作業設計器中，實用哪種作業工作流的引擎是最主要的，現在對Oozie進行調研。 一．Oozie介紹 Oozie是一種工作流引擎，用於運行MR，Spark Job（有待測試），Pig等任務工作流。它是以Web呈現給用戶，運行
2018-08-22 13:51:59
1
原创 Oozie和Azkaban的技術選型和對比
Oozie和Azkaban的技術選型和對比 一．Azkaban和Oozie的工作流程 1.1 Azkaban工作流程 Azkaban將需要操作的信息打包成zip文件發送給Server端，Server對用戶的信息進行存儲。用戶在Web U
2018-08-22 13:51:59
11
原创 spark源代碼閱讀用idea出現的問題
最近想用idea研讀下spark的源代碼，畢竟是研究這個，看看代碼裝裝逼也不錯。。 在網上都有很多用idea導入spark源碼的教程，中間可能後出現找不到sparkflumeprotocol等等的問題 這個主要的原因是因爲idea的sbt
2018-08-22 13:51:59
3