原创 hive 文章總覽
整理下寫的比較全的hive文章，往後不用到處亂找 https://gaofeng.blog.csdn.net/article/details/106891688 《Hive動態分區和分桶》 https://gaofeng.blog.
2020-06-29 00:43:43
原创 hive sql 底層語法解析-格式化
原文章http://whatua.com/2018/12/02/hive-sql-format-with-antlr/ 當前比較好的sql格式化工具 以下在網上搜集了一些比較好的sql格式化工具，各有利弊。但對hive sql 來說目前還
2020-06-13 07:58:16
4
原创 BindingException: Parameter 'dataBase' not found. Available parameters are [arg1, arg0, param1, par
這個問題很多人都說: 1參數沒寫@Param註釋 2字段名寫錯 這裏添加一個最簡單的： 看看導包是不是導錯了
2020-06-13 07:58:16
原创 Unrecognized option: --Xmx5120m
Container exited with a non-zero exit code 1. Error file: prelaunch.err. Last 4096 bytes of prelaunch.err : Last 4096
2020-06-13 07:58:16
原创 獲取YARN中實際執行的sql文本
筆者在此之前一直想找到container中運行的sql命令，相信有不少小夥伴和筆者有着相同的疑惑。 偶然間發現了這個參數，可以藉助此參數快速找到sql文件。 命令如下: hdfs dfs -cat /ats/XXX/applicati
2020-05-09 11:28:04
2
原创 superset安裝採坑
爲了寫畢業設計安裝spuerset 弄到半夜一點多，纔算勉強弄好。記錄一下就去睡覺。 首先在阿里雲ecs下嘗試安裝，阿里雲比較坑的一點是他默認給你安裝了python2.7，並且有些linux基礎組件還必須基於python2.7。要用pyt
2020-04-21 15:13:02
原创 .bashrc 文件 函數形式縮寫參數
工作中有很多經常使用到的命令，擴展開就是一大串。用函數式縮寫的形式可以完成快速開發（偷懶）。 注意要source .bashrc #hive search 注意 有參數時候必須有路徑! hs(){ # ${!#} 獲取最後一個參數
2020-04-21 15:13:02
原创 jdk1.8 函數式編程與scala函數式編程區別
今天和同事的一番對話,引起了我對java函數式編程和scala函數式編程的思考。 我: java （x,y）->（x+y） x,y，的類型必須提前定義好嗎？ 不能說我（int x,long y）->x+y 同事：如果你說的
2020-02-23 04:46:37
原创 記一次hadoop增加數據磁盤的過程
前段時間業務老是執行失敗，檢查資源使用情況後決定在兩臺節點上啓動datandoe。 節點配置: 2core, 4G memory,2T（空磁盤） 使用ambari操作服務 啓動datanode服務時候，啓動不起來，排查問題發現是不滿足ha
2020-02-23 04:46:37