原创 Failed to read artifact descriptor for org.apache.XXX
[ERROR] Plugin org.apache.maven.plugins:maven-surefire-plugin:2.18.1 or one of its dependencies could not be resolved:
2020-06-20 15:58:31
3
原创 github or gitee or gitlab
1. github Managing access to your personal repositories You can give people collaborator access to repositories owned b
2020-06-20 15:58:31
原创 hbase Master is initializing
重裝hbase後導致出險問題: hbase(main):007:0> create 'test_t2','f1' ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is
2020-06-08 23:05:13
4
原创 由於端口被修改導致的DataNode 重啓失敗
在配置kerberos認證失敗後,打算恢復原始的狀態, DataNode 重啓失敗, 經過排查發現錯誤日誌如下,判斷有可能是端口拒絕訪問導致的,查看hdfs的 端口配置發現有兩處變動的地方,使用恢復按鈕進行恢復,之後重啓
2020-06-08 23:05:13
4
原创 Initialization failed for Block pool BP-XX (Datanode Uuid xxx) service to
配置hdfs namenode HA: hdfs zkfc –formatZK Initialization failed for Block pool BP-666417012-10.253.76.213-155704486
2020-06-08 23:05:13
3
原创 authorize.AuthorizationException: User: livy is not allowed to impersonate
部署參考 livy安裝:https://cloud.tencent.com/developer/article/1349537 此外需要在hdfs core-site.xml 配置如下代理: <property> <name>
2020-06-08 23:05:03
原创 sql優化之一次from查詢多次insert into操作
優化點:一次map多個reduce,有效節省了map操作. 本腳本目的:實現表字段空值率統計 流程: 1.獲取表結構 2,通過excel或者是notepad進行批量轉換, 3,將語句格式化成如下的from insert 語句,然後執行就O
2020-06-08 23:05:03
原创 mysql報表展示需求轉化:實現行轉列,同時確定每條記錄
原始需求:將一張二維表,展示在 css中,無奈前端展示部分數據處理功能太弱,只能重新考慮需求以及實現方式. 如下是最初的實現方式,但是和其他人員溝通之後說是不支持,(⊙o⊙)…,溝通也是生產力啊,下面的白費了. select a.ac
2020-06-08 23:05:03
原创 Error response from daemon: Get https://registry-1.docker.io/v2/: proxyconnect tcp: dial tcp :443:
安裝完docker,pull image或者是docker login 都需要訪問外網,本文是採用代理的方式. 但是依然沒有成功,看看官網的 proxy的配置吧. HTTP/HTTPS proxy The Docker daemon us
2020-06-08 23:05:03
原创 docker 安裝社區版gitlab-ce存在的問題
# docker 安裝,gitlab鏡像拉取步驟跳過 1. 更改默認端口問題導致git clone生成項目鏈接不含端口號 docker 拉取鏡像之後,後臺啓動運行gitlab,這裏採用的是中文漢化鏡像,建議使用社區鏡像,原汁原味更好.
2020-06-08 23:04:53
原创 github or gitee
1. github Managing access to your personal repositories You can give people collaborator access to repositories owned b
2020-05-21 06:31:18
原创 python採用進程池消費隊列消息
# 方式1:在主進程創建隊列,並採用進程池的形式,異步消費任務隊列 # 方式2: 採用生產消費者模式處理,一邊生產一邊消費, 避免方式1中需要先讀取全量任務問題 # 方式1代碼 # 從pdf文件轉文本是一個cpu以及io負載都很高的過
2020-05-11 16:23:43
原创 hive分區鎖問題導致insert overwrite table 卡死
hive show locks ;可以展示表以及分區級別的鎖 show locks table_name; 展示表級別的鎖 當分區寫數據異常失敗之後,採用unlock table table_name; 並不能解決insert ove
2020-05-11 16:23:43
原创 python 如何進行元組排序
python list 可以直接進行sort排序,默認是按照從小到大進行排序. 現在有個需求:要按照元組的第一個元素進行升序,但是按照第二個元素進行降序 如下是個取巧的辦法,這裏的100根據數值範圍進行調整,思路是選擇一個函數,對第一個
2020-02-22 03:31:25
原创 python stock learn
使用scikit-learn進行股票分析 : https://blog.csdn.net/freewebsys/article/details/78973483 LSTM對股票的收益進行預測（Keras實現） : https://bl
2019-09-07 21:42:18