原创 【問題】Nginx日誌中request_body爲空
部署Nginx，查看Nginx日誌的時候，發現request_body的值沒有記錄下來Nginx日誌：192.168.1.1--2016-02-24T13:33:54+08:00POST /rate_plan HTTP/1.12002---
2018-09-10 03:54:28
3
原创 【總結】Hadoop中的Combiner實踐
Combiner作用是合併Mapper的輸出，Combiner的輸出作爲Reducer的輸入，這樣可以減少map任務和reducer任務之間的數據傳輸。1、在Job中設置Combiner和不設置Combiner，觀察Reducer輸入情況使
2018-09-10 03:54:28
原创 【總結】Datax按record限速
{ "job": { "content": [{ "reader": { "name": "mysqlreader", "paramete
2018-09-10 03:54:28
原创 【總結】Kylin LDAP配置
1、LDAP服務，目錄結構2、$KYLIN_HOME/conf/kylin.properties配置訪問Kylin兩個用戶類型，1、以個人身份登錄Kylin系統，做各種操作(user)2、以調用API方式訪問Kylin服務(service)
2018-09-10 03:54:19
2
原创 【問題】kafka.common.errors.RecordTooLargeException，kafka.common.MessageSizeTooLargeException
1、向Kafka中輸入數據，拋異常WARN async.DefaultEventHandler: Produce request with correlation id 92548048 failed due to [TopicName,1
2018-09-10 03:54:19
原创 【總結】將關係數據庫中組織機構同步至LDAP中
代碼參考：https://github.com/chocolateBlack/db2Ldap QQ羣：223460081將關係型數據數據組織機構同步到LDAP中1、獲取關係型DB中組織機構關係2、生成樹型數據結構（因數據庫不同，獲取、生成樹
2018-09-10 03:54:19
2
原创 【總結】基於Spring LDAP和Spring Security的用戶認證和權限控制Web實現
利用LDAP服務，使用Spring LDAP,Spring Security實現Web項目用戶認證和簡單的權限控制。實現多系統賬號統一。1、基於EHR的LDAP用戶信息LDAP是輕量目錄訪問協議，英文全稱是Lightweight Direc
2018-09-10 03:54:19
2
原创 【問題】Kylin Step 10 Build Cube失敗
build cube任務過程中，執行到step 10任務失敗，原因是配置kylin的執行MR任務的資源不足任務進行到第十步驟，失敗。具體原因查找1、查看Parameters2、查看MRJob日誌，發現問題所在2017-03-16 15:42
2018-09-10 03:54:19
3
原创 【總結】HDFS源碼之INode相關類
快照：http://f.dataguru.cn/thread-574962-1-1.html第一部分主要有五個類INode，INodeAttributes，INodeFile，INodeDirectory，INodeReference，IN
2018-09-10 03:54:19
原创 【總結】Kylin創建Cube，以及優化
根據上篇文章Kylin創建Model之後，創建Cube第一步，Cube Info填寫Cube基本信息第二步，Dimensions第三步，Measures第四步，Refresh SettingAuto Merge Thresholds ：自動
2018-09-10 03:54:18
1
原创 Hbase on Yarn-編譯部署slider
1、編譯Slider，[root@plat1 apache-slider-0.91.0-incubating]# pwd /usr/local/src/apache-slider-0.91.0-incubating因採用CDH版本hadoo
2018-09-10 03:54:18
3
原创 【總結】IntelliJ在Win和Linux中的快捷鍵
功能快捷鍵說明隱藏編輯框之外的其他窗口Shift+Ctrl+F12隱藏/打開Project窗口Alt+1如果光標焦點在文件中，按快捷鍵會打開/隱藏 Project窗口，並選中Project拓展編輯窗口Shift + Ctrl + Right
2018-09-10 03:54:18
原创 【總結】一不小心的Map端數據傾斜
MapReduce任務的數據傾斜一般指的是Reduce端數據傾斜，Map端怎麼還會出現數據傾斜呢。~~Mapper任務如下圖所示，其中一個map任務耗時特別長跑了一個ETL程序，兩個Map分別讀取兩類數據，一個是lzo格式，另外一個是txt
2018-09-10 03:54:18
原创 【問題】The coprocessor thread stopped itself due to scan timeout or scan threshold
Kylin執行查詢語句的時候報錯如下：Error while executing SQL "select t.hotel_id_m,t.live_dt, d.day_of_week,sum(rns) from tableT t join T
2018-09-10 03:54:18
原创 【總結】kafka-topics.sh --describe顯示結果解釋
> bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic Topic:my-replicated-topic Partit
2018-09-10 03:54:17