原创 anaconda CondaHTTPError: HTTP 404 NOT FOUND for url
問題： 用anaconda創建python虛擬環境 ，報了以下錯誤 解決方法： conda config --remove-key channels conda config --append channels conda-forg
2020-06-22 01:45:38
6
原创 數倉基於表級別的數據血緣分析
1.背景：數據血緣分析在日常的處理過程中非常重要,其分爲應用級別、表級別和字段級別三種。在數據處理過程中，需要知道目標表的字段是來源於哪張原始表。對於簡單的hsql來說我們很容易可以知道目標表的來源，但是複雜的hsql，想得到原始表不就那
2020-06-22 01:45:38
1
原创 spark hive2hbase
18/12/13 16:06:28 INFO TaskSetManager: Starting task 4.3 in stage 2.0 (TID 26, hadoop02, executor 1, partition 4, NODE_
2019-09-22 18:51:50
4
原创 hive創建表字段說明是亂碼
cdh的hive創建表後，表中的字段說明爲亂碼； 查看了元數據庫後，發現了元數據庫的的編碼集不是utf-8； 在元數據庫中，執行： alter table COLUMNS_V2 modify column COMMENT varcha
2018-12-25 17:35:06
原创 hive分區表創建不成功
在創建hive分區表時，desc 該表時，分區不存在；重現執行了創表語句後，分區還是不存在； 由此，想到了之前hive的元數據表中，刪除了一行數據，是關於分區的記錄； 重新創建了該庫該表，分區則存在
2018-12-25 17:35:06
原创 hiveload數據到表中，查詢出來全部爲null
l load數據成功後，查詢出數據均爲null。 查看創表語句後， 文件格式如下： 修改後的語句的如下： 重新load後，查詢結果如下： 至此，問題已解決。
2018-12-23 17:22:00
原创 Azkaban集成hive2hbase的過程腳本報錯解決過程（位置問題）
上面的信息是azkaban的報錯日誌； 這是hive2hbase的工程結構； 通過一番排查後得知，azkaban的裏面的路徑信息，都是以run.job爲基準的相對路徑。 將azkaban工程打成zip包後的工程代碼結構如下： 上傳到a
2018-12-23 17:22:00
原创 用spark將hive數據導入到hbase中
Log Type: stderr Log Upload Time: Thu Dec 13 14:59:19 +0800 2018 Log Length: 2873 SLF4J: Class path contains multiple
2018-12-13 23:15:31
原创 hbase aip使用mapReduce將處理過的數據存入hbase數據出錯
錯誤如圖1-1：圖1-1核心代碼如圖1-2，圖1-3，圖1-4所示：圖1-2圖1-3圖1-4產生該錯誤的原因是使用了錯誤的列簇，修改後的代碼和效果分別是圖1-5和圖1-6：圖1-5圖1-6
2018-08-31 03:35:00
2
原创 java api連接hbase問題
圖1-1使用Java api連接hbase，出現了圖1-1的錯誤。一般情況下需要先檢查虛擬中進程是否完整，然後再檢查api中的創建連接部分，看虛擬機IP地址和端口號是否正確，經過檢查後，發現沒有問題。經過查閱資料後，window環境變
2018-08-31 03:34:52
2