原创 idea如何讀取配置properties文件以及加載外部文件目錄下的配置
如何去讀properties結尾的文件,方便程序的靈活配置參數 首先建立`PropertiesReader類一般放在util包下面 public class PropertiesReader { /** * 讀取配置文件 */
2020-07-01 20:53:27
1
原创 Java對象封裝實體類,使用Gson和阿里的方式封裝
需要建立好實體類的對應類型,Gson的封裝方法 ss是對應的數據源 List<實體建立好的實體類> tntities = new Gson().fromJson(ss, new TypeToken<List<實體建立好的實體類>
2020-07-01 20:53:26
原创 logstash處理解析失敗的數據,不寫入數據庫或elasticsearch
filter { dissect{ mapping => { "message" => "%{clientip} - - [%{time_local}] %{request} %{url} " } } i
2020-07-01 20:53:26
3
原创 postgres如何不插入重複的值
用一句sql語句搞定 INSERT INTO pm (metric, objectname, c_md5, e_md5) SELECT 'oracle', 'OR' ,'4', '7' WHERE NOT EXISTS(SELEC
2020-07-01 20:53:26
原创 apache atlas編譯踩坑
紀念編輯atlas編輯踩過的坑 官方下載地址：http://atlas.apache.org/Downloads.html 我的是 apache-atlas-1.1.0-bin.tar.gz 編譯源碼 環境準備，jdk1.8以上
2020-06-03 00:51:52
原创 idea如何讀取配置properties文件
如何去讀properties結尾的文件,方便程序的靈活配置參數 首先建立`PropertiesReader類一般放在util包下面 public class PropertiesReader { /** * 讀取配置文件 */
2019-07-08 16:30:55
原创 Hive的十四種調優方式:
Hive的十四種調優方式: 第一種調優方式：fetch(hive可以避免MapReduce)對於hive可以簡單地讀取employee對應的儲存目錄下的文件,然後輸出查詢結果到控制檯.修改hive.fetch.task.conve
2019-07-02 16:35:58
原创 Apache atlas的UI界面如何修改密碼
Apache atlas的UI界面如何修改密碼 在apache-atlas-1.1.0/conf中的users-credentials.properties admin=ADMIN::後面跟的爲sha256加密 在線轉換方式htt
2019-06-10 18:00:07
原创 Storm 的nimbus 單節點宕機如何自動重啓?
storm在生產上跑得很歡快，但是突然遇到一個問題，不知道storm是什麼原因，無緣無故的自動停止了。查看日誌沒有任何的報錯信息，包括警告信息都沒有，反正就是無緣無故的shut down了。問題分析，初步我們判斷應該是系統資源不足導致
2018-12-18 13:05:33
原创 spark的三種部署模式
三種模式 standalone即獨立模式,自帶完整的服務,可單獨部署到一個集羣中,無須依賴任何其他資源系統 spark on mesos模式 正式由於spark開發之初就考慮支持mesos,因此,目前而言,spark運行在mesos
2018-12-08 02:08:11
原创 spark的資源參數調優
1.num-executors 參數說明:該參數用於設置spark作業總共要用多少個Executor, 建議每個spark作業運行一般設置50~100個左右的Executor進程比較合適 2.executor-memory 參數說明:
2018-12-08 02:08:11
原创 spark的程序開發調優
原則一: 避免創建重複的RDD,對於同一份數據,只應該創建一個RDD. 原則二: 儘可以複用同一個RDD,對於類似這種多個RDD的數據有重疊或者包含的情況,我們應該儘量複用一個RDD,儘量減少RDD的數量,從而儘可能減少算子執行的次數
2018-12-08 02:08:11
原创 spark的持久化 persist
memory_only 使用未序列化的Java對象格式，將數據保存在內存中。 memory_and_disk 使用未序列化的Java對象格式,優先嚐試將數據保存在內存中,如果內存不夠存放所有的數據,會將數據寫入磁盤文件彙總,下次對這
2018-12-08 02:08:11
原创 spark的shuffle相關參數調優
1.spark.shuffle.file.buffer 默認是32K 該參數用於設置shuffle write task 的BufferedOutputStream的buffer緩衝大小,將數據寫到磁盤文件,在內存作業資源充足的情況下
2018-12-08 02:08:11
1
原创 Spark性能調優合理設置並行度
spark作業中,各個stage的task的數量,也就代表了spark作業在各個stage的並行度,50個Executor,3個core,也就是說Application任何一個stage運行的時候,都有150個cpu core,可以並
2018-12-08 02:08:11