原创 Datax支持kerberos認證
一、DataX很好用 https://github.com/alibaba/DataX 看到本篇之前，基本都從其他blog瞭解過datax（此處輕吹千字...） 二、DataX不支持Kerberos 由於阿里內部討論過hdfs使用kerb
2020-06-09 08:59:48
17
原创 二叉樹前序、中序、後序遍歷Java和C非遞歸實現
寫在前面 正巧在看《算法：C語言實現》這本書，翻到樹遍歷這一篇。文章中生動形象的列出了前、中、後序遍歷二叉樹的過程，和算法思路。恰逢我又失眠，然後想看下Java實現。發現大多人的實現並沒有書中實現的那麼直觀，甚至有些晦澀，於是
2019-06-20 15:10:18
原创 Colocat Join 理解
前言 在使用Doris的時候，help create table發現colocat join的建表語句，但是從未見過colocat join這個詞語。所以想了解什麼意思，但是百度翻譯中文“共置聯結”，搜了下bing，來勉
2019-06-20 13:03:19
原创 DataX--TxtFileWriter不寫數據問題
寫在前面 我在用datax開發同步工具插件，需要從kafka消費數據，寫入HIVE中。測試工具的時候先使用TxtFileWriter作爲writer，觀察中間結果。 遇到問題 由於我在reader裏面使用while(true)來消費數
2019-06-11 13:26:53
1
原创 Flume 源碼解讀之解析HDFS路徑
項目升級需求： 需要通過flume採集過去時間段的日誌，並存儲到HDFS中，保證路徑以 xxx/ymd=%Y-%m-%d/h=%H 來存儲 實踐很簡單： 1）我們通過flume的RPCClient發送Event事件，給flume服務端，E
2019-01-07 03:45:46
原创 JBOSS內存泄漏分析
現象：Apollo告警平臺16臺JBOSS服務器中有一臺登陸不上，堆內存耗盡，OOM異常。 分析： 1、取回dump日誌，通過IBM HeapAnalyzer分析 NonRegisteringDriver類concurrentHashM
2018-09-06 05:18:04
原创 ExecutorCompletionService一不小心就會內存泄漏
我在定位蘇寧智能告警平臺內存泄漏過程中，發現ExecutorCompletionService的BlockingQueue佔用了20%的堆內存。 代碼如下： CompletionService<Integer> exec
2018-09-06 05:18:03
原创 python 實現CAS服務器認證
##CAS登陸流程##。如https://my.oschina.net/aiguozhe/blog/160715中所示。 由於CAS不提供rest請求來通過認證。可行的方法是模擬瀏覽器請求，填入用戶名和密碼來實現認證流程。 一、通過f
2018-09-06 05:18:01
6