原创 Hive基於ES的外部表使用
作用： 1.將Hive數據導入ES 2.Hive直接使用ES的數據 缺陷 由於Hive字段名不區分大小寫，es-hadoop默認將字段名都轉換爲小寫。 步驟 一、配置依賴jar 1.臨時生效 啓動HIVE CLI後，ADD JAR
2019-07-02 14:13:10
2
原创 HIVE SQL時間函數使用
獲取yyy-MM-DD當前日期 SELECT CURRENT_DATE； — 2019-06-25 獲取yyy-MM-DD hh:mm:ss當前日期 SELECT CURRENT_TIMESTAMP； – 2019-06-2
2019-06-26 12:30:36
原创 Hive Sql使用注意點記錄
1.單獨的 DISTINCT 關鍵字只能放在開頭，放在其它位置會報錯；但如果是配合其它的函數使用，比如 COUNT(DISTINCT a) 則可以任意位置 2.想要在like方法中調用函數，要用concat拼接 like CO
2019-06-26 12:30:36
原创 ES的默認排序和慎用_doc排序
1.ES的默認排序 ES默認的排序，是按 _score的desc。如果score分數一樣排序就會亂。所以需要給不打分的數據排序可以用** _uid或者自定義的字段排序** 2.爲什麼慎用_doc排序 _doc 其實就是按照Luce
2019-06-11 16:20:55
原创 內存泄露的解決方法
分析內存泄露的一般步驟 把Java應用程序使用的heap dump下來 使用Java heap分析工具，找出內存佔用超出預期（一般是因爲數量太多）的嫌疑對象 必要時，需要分析嫌疑對象和其他對象的引用關係。 查看程序的源代碼，找出
2019-06-11 16:20:55
2
原创 RocketMq使用異常解決記錄
一、生產者創建報錯 The producer group[profile-adjust-limit-producer-group] has been created b efore, specify another name plea
2019-04-26 15:47:24
原创 非對稱加密和對稱加密的區別
在瞭解對稱加密和非對稱加密的區別之前我們先了解一下它們的定義： 對稱加密（Symmetric Cryptography），又稱私鑰加密 對稱加密是最快速、最簡單的一種加密方式，加密（encryption）與解密（decryption）
2019-03-30 09:35:59
原创 cloudera mamager中配置hive加載第三方JAR
1.在運行 Hive Metastore Server、HiveServer2 或 Hive CLI 的主機上手動創建和管理/data/db/hive_udf本地目錄，在目錄中放置需要添加的jar 2.按下圖配置，然後重啓Hive
2019-03-30 09:35:59
原创 CDH版Hive配置.hiverc文件
1、在linux用戶的home目錄下，創建 .hiverc ，默認當前用戶下可以使用這個配置 如路徑 ：/home/kwu 2、在hive的配置文件目錄下，創建 .hiverc ，默認所有用戶都可以使用這個配置，更改hive配置會影響
2019-03-29 14:11:00
7
原创 git合併衝突解決
使用IDEA合併其它分支代碼過程中，雖然在界面處理文件時都解決了衝突，但合併完成後還是報錯衝突，狀態一直爲mergeing,下面記錄下解決過程 Couldn't check the working tree for unmerged
2019-03-23 09:37:26
2
原创 hive分頁查詢
一、生成自增ID https://blog.csdn.net/wzy0623/article/details/53893174 二、利用自增ID和limit分頁 假設分頁傳參： pageNum --頁數 pageSize --每頁
2019-03-06 20:26:08
原创 查看jar包的JDK版本
方法一：通過IDEA等開發工具查看 導入jar包後，直接查看class類，文件上面就會顯示字節碼版本 方法二：通過反編譯.class文件來查看。 解壓jar包，得到.class文件。用JDK自帶的javap反編譯.class文件，用
2019-01-04 20:10:20
原创 CDH Can't scan a pre-transactional edit log，Timed out waiting 120000ms ，JournalNode數據文件破壞集羣恢復方法
簡介： CDH5.11集羣，由於停電或者磁盤滿了造成節點全部掛掉，重啓後HDFS報錯，同時由於HDFS報錯，引起其他基於HDFS的應用如HBASE等也報錯，恢復方法如下。 報錯介紹： 我這裏的錯誤，摘錄部分日誌如下： 在namenod
2018-11-26 00:38:23
1
原创 MySQL 樂觀鎖與悲觀鎖
悲觀鎖 悲觀鎖（Pessimistic Lock），顧名思義，就是很悲觀，每次去拿數據的時候都認爲別人會修改，所以每次在拿數據的時候都會上鎖，這樣別人想拿這個數據就會block直到它拿到鎖。 悲觀鎖：假定會發生併發衝突，屏蔽一切可能違
2018-11-21 00:49:42
原创 記一次日誌實現衝，導致日誌不打印問題
項目在window上開發無問題，但部署到linux後，日誌不打印，經過排查發現項目中存在log4j-slf4j-impl-2.7.jar和logback-core-1.1.7.jar兩種slf4j實現，導致日誌無法打印。啓動日誌爲 J
2018-11-04 00:51:12