原创 【轉】【HDFS】hive任務報HDFS異常：last block does not have enough number of replicas
HIVE運行查詢腳本時報錯，last block does not have enough number of replicas： 1 2018-10-15 2018-07-17 2 2018-10-15 10:00:01
2020-02-21 15:48:54
8
原创 執行sql時出現錯誤 extraneous input ';' expecting EOF near ''
原文問題： 調用jdbc執行hive sql時出現錯誤 Error while compiling statement: FAILED: ParseException line 5:22 extraneous input ';' expe
2020-02-21 15:48:54
原创 【轉】箱線圖
作者：海致BDP 鏈接：https://www.zhihu.com/question/36172806/answer/308908220 來源：知乎 著作權歸作者所有。商業轉載請聯繫作者獲得授權，非商業轉載請註明出處。 箱線圖判斷異常
2018-12-08 00:04:40
原创 【轉】shell 使用指定的分割符來分割字符串
shell 如何用指定的分隔符來分割字符串讓結果爲一個字符串數組，類似 java 中的 split, 而 split 關鍵字已經留給文件分割了，故字符串就分割處理就不能在使用了，那如何來處理字符串串分割呢？方法有兩種 方法一 #!/bi
2018-12-08 00:04:40
原创 shell腳本：Syntax error: Bad for loop variable錯誤解決方法
ubuntu16.06輸出循環數字： 命令行中： for i in {1..5}; do echo $i; done #result 1 2 3 4 5 但是將for i in {1..5}; do echo $i; done，寫到s
2018-12-08 00:04:40
11
原创 Precision、Recall、F-measure、ROC曲線、AUC理解
首先，在試圖弄懂AUC和ROC曲線之前，一定，一定要徹底理解混淆矩陣的定義！！！ 混淆矩陣中有着Positive、Negative、True、False的概念，其意義如下： 稱預測類別爲1的爲Positive（陽性），預測類別爲0的爲Ne
2018-11-26 08:38:54
3
原创 【轉】基於Hadoop的數據倉庫Hive 基礎知識
基於Hadoop的數據倉庫Hive 基礎知識 - miao君的文章 - 知乎 https://zhuanlan.zhihu.com/p/25608332 Hive是基於Hadoop的數據倉庫工具，可對存儲在HDFS上的文件中的數據集進行數
2018-11-04 09:28:38
原创 select語句完整語法及執行流程
select語句完整語法及執行流程 select 目標表的列名或列表達式序列 from 基本表名和（或）視圖序列 [where 行條件表達式] [group by 列名序列]
2018-10-27 08:58:40
原创 【轉】SQL ROW_NUMBER() OVER函數的基本用法
語法：ROW_NUMBER() OVER(PARTITION BY COLUMN ORDER BY COLUMN) 簡單的說row_number()從1開始，爲每一條分組記錄返回一個數字，這裏的ROW_NUMBER() OVER (ORD
2018-10-27 08:58:40
2
原创 hive執行報錯：Both left and right aliases encountered in JOIN 's1'
原因：兩個表join的時候，不支持兩個表的字段 非相等 操作。 可以把不相等條件拿到 where語句中。 例如： right JOIN test.dim_month_date p2
2018-10-27 08:58:40
原创 Hadoop Streaming
Hadoop Streaming Hadoop streaming是Hadoop的一個工具， 它幫助用戶創建和運行一類特殊的map/reduce作業， 這些特殊的map/reduce作業是由一些可執行文件或腳本文件充當mapper或者r
2018-10-20 08:40:17
原创 【轉】xargs與管道 | 區別
實例1： $ echo '--help' | cat --help //該命令輸出的是echo的內容，也就是說將echo的內容當作cat處理的文件內容了，實際上就是echo命令的輸出通過管道定向到cat的輸入了。 然後cat從其標
2018-10-20 08:40:17
2
原创 提升hive效率的最佳實踐
表相關 存儲格式： 避免使用text,JSON,有可能的haul也應避免sequence文件； 理想的格式是RCFile (Row Columnar File) 壓縮： block compression 比 value compress
2018-10-20 08:40:17
原创 【轉】關於滴滴智能調度的分析和思考
AnthonyD 關注 2017.01.15 23:55* 字數 3809 閱讀 10743評論 1喜歡 47讚賞 3寫這篇分析的背景是，工作上正在經歷一個智能調度平臺的搭建和設計，希望通過對於滴滴調度系統進行調研，來得出一些可借鑑的、
2018-10-20 08:40:17
4