原创 最新spark函數列表2019（帶目錄）
Spark SQL 內置函數列表 Spark 下載爲PDF 文章目錄 1 ! 2 % 3 & 4 * 5 + 6 - 7 / 8 < 9 <= 10 <=> 11 = 12 == 13 > 14 >= 15 ^ 16 abs 17 a
2020-06-20 08:22:23
原创 hive Union all 優化
https://www.cnblogs.com/end/archive/2013/01/15/2861448.html 優化時，把hive sql當做map reduce程序來讀，會有意想不到的驚喜。 理解hadoop的核心能力，是hiv
2020-06-20 02:21:55
原创 Spark中的寬依賴和窄依賴的區別
開門見山，本文就針對一個點，談談Spark中的寬依賴和窄依賴，這是Spark計算引擎劃分Stage的根源所在，遇到寬依賴，則劃分爲多個stage，針對每個Stage，提交一個TaskSet： 上圖：一張網上的圖： 基於此圖，分析下這
2020-06-20 01:21:45
原创 HDFS權限問題：mkdir: Permission denied: user=root, access=WRITE
權限問題！！！ mkdir: Permission denied: user=root, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-x 條命令就可以搞定了。cloudera沒發現這個
2020-06-20 00:00:56
2
原创 Scala 將時間戳轉成指定時區的時間（UTC時間）
package import java.text.SimpleDateFormat import java.util.{Calendar, Date, TimeZone} object Test { def main(args
2020-06-01 23:37:26
原创 This version of MySQL doesn’t yet support ‘LIMIT & IN/ALL/ANY/SOME mysql子查詢不支持limit問題解決
mysql子查詢不支持limit問題解決 This version of MySQL doesn’t yet support ‘LIMIT & IN/ALL/ANY/SOME 如果sql語句中的子查詢包含limit 例如： sele
2020-04-21 02:41:25
原创 Oracle取相同ID，最新一條
Oracle相同ID有多條記錄，取時間最近的一條 原創 社會主義程序員 最後發佈於2016-11-28 11:03:02 閱讀數 16316 收藏 展開 select * from (select t.*,
2020-03-27 00:04:25
原创 數倉3NF模型
3NF的基本解釋 （1）1NF-無重複的列 數據庫表的每一列都是不可分割的基本數據項，同一列中不能有多個值，即實體中的某個屬性不能有多個值或者不能有重複的屬性。 如果出現重複的屬性，就可能需要定義一個新的實體，新的實體由重複的屬性
2020-03-20 05:32:22
原创 hive內部錶轉外部表
hive內部表和外部表之間的相互轉換 背景 在對hive進行進一步瞭解的同時，發現了hive的內部表和外部表可以通過更改屬性進行轉換，並且不會因爲數據量大小影響轉換的性能 實現 內部錶轉外部表 alter table xm_testA s
2020-03-15 17:29:42
原创 hive數據傾斜怎麼辦
在做Shuffle階段的優化過程中，遇到了數據傾斜的問題，造成了對一些情況下優化效果不明顯。主要是因爲在Job完成後的所得到的Counters是整個Job的總和，優化是基於這些Counters得出的平均值，而由於數據傾斜的原因造成map處
2020-03-13 15:21:17
原创 ClickHouse密碼設置加密
拒絕裸奔--ClickHouse用戶名密碼設置 大家都說大數據有價值，但是，有多少人給大數據加了鎖？ ClickHouse集羣，目前線上的都是裸奔，如果對方惡意請求數據，甚至刪掉某些數據，就悲劇了 Config概覽 配置文件：
2020-03-13 15:21:17
原创 redis中存儲java對象的兩種方式
redis中存儲java對象的兩種方式 根據redis的存儲原理,Redis的key和value都支持二進制安全的字符串 1.利用序列化和反序列化的方式 存儲java對象我們可以通過對象的序列化與反序列化完成存儲於取出,這樣就可以使用re
2020-03-13 15:21:17
原创 notepad++去除換行
1、按ctrl+f 2、進替換/replace， 3、選中下方的“擴展” 4、“查找目標”輸入：“\r\n”，“替換爲”留空白 5、最後全部替換。 如下圖。
2020-03-11 18:24:51
1
原创 java.lang.NoClassDefFoundError
java.lang.NoClassDefFoundError 前言 寫了一個java程序，初期運行正常，在一次功能新增的時候，出現異常，百思不得其解。最終解決後，記錄下。 環境 我的程序是jar運行的。 開發工具是 idea 開發環境 m
2020-02-24 19:04:16