原创 DataX批量生成json文件（java程序）
DataX抽數時，需要配置json文件，如果一兩個可以手動配就完事了，但是如果有上百個，手動配的話就要死人了，所以簡單寫了個java程序，批量生成json文件，包括全量導數和增量導數。 可以把查表結果部分整合到java程序裏，有空再搞吧.
2020-07-04 22:03:14
原创 Hive性能優化之數據傾斜
Hive的優化分爲join相關的優化和join無關的優化，實際運用來看，join相關的優化佔了很大的比重，而join相關的優化又分爲mapjoin可以解決的join優化和mapjoin無法解決的join優化。 1 數據傾斜
2020-07-04 22:03:14
原创 IDEA常用默認快捷鍵
參考：https://blog.csdn.net/weixin_38405253/article/details/102583954 最常用的： Shift + Shift 快速搜索(文件名匹配) Ctrl + Shift + F 整個項
2020-07-04 22:03:11
1
原创 排序函數row_number,rank,dense_rank區別
row_number,rank,dense_rank這三個都是排序函數，幾乎每種數據庫都支持這幾個函數。 它們都是配合開窗函數over(partition by col1 order by col2)使用。下面根據實例看看這三個有什麼區別
2020-07-04 22:03:11
原创 Spring AOP @Before @Around @After等執行順序
1.AOP基本概念 切面（Aspect）：通知（advice）和切入點（pointcut）共同組成了切面（aspect） 切入點（Pointcut）：匹配join point的謂詞，切面切向哪裏，某個類或者某一層包路徑 連接點（Joinp
2020-07-04 22:03:11
41
原创 Idea使用springboot整合kafka
詳見：https://blog.csdn.net/u014453898/article/details/84870761
2020-07-04 22:03:11
原创 查看Mysql表名、主鍵、列名
Mysql有幾個內部表，存放schema，表名，主鍵，索引，列名等信息。 此次做數倉遷移，爲了配置datax通用腳本，用到這些，順手整理一下: select t.table_schema,t.table_name,concat('vnm
2020-07-04 22:03:11
1
原创 基本數倉建設(含最詳細步驟)
最簡單數倉建設，原理：將所有源數據抽取到同一個地方，建模，加工處理。 需求：將不同mysql庫數據，抽取到同一個pg庫，對抽取數據進行加工，生成報表。如：在B機器上抽取A機器上數據到C機器上。 使用工具：DataX 步驟： B機器上安裝j
2020-07-04 22:03:11
2
原创 SpringBoot跨系統調用接口方案
一、簡介 項目開發中存在系統之間互調問題，又不想用dubbo，這裏提供幾種springboot方案： 1、使用Feign進行消費（推薦） 2、使用原始httpClient請求 3、使用RestTemplate方法 二、方案 方
2020-07-04 22:03:11
原创 Hive常用命令及函數
hive函數大全:https://www.cnblogs.com/MOBIN/p/5618747.html 1.查看錶結構 show create table tablename; 2.查看視圖 show create view view
2020-07-04 22:03:11
1
原创 Postgresql存儲過程
Pg的存儲過程與oracle的稍微有點不一樣，它的結構是這樣的 語法： CREATE OR REPLACE FUNCTION function_name(arg1,arg2...) RETURNS return_type AS $BOD
2020-07-04 22:03:11
原创 idea打jar包，並在cmd下執行jar包
1.新建java類https://blog.csdn.net/jsbylibo/article/details/102825438 2.idea打jar包，File--->Project Structure--->Artifacts 完事
2020-07-04 22:03:11
1
原创 Java、Spring、Linux、大數據、前端等資料整理
一.Java相關 1.Java內存模型 2.線程池，這一篇或許就夠了 3.MyBatis|緩存機制 4.Java面試題大全（2020版） 5.這一次，終於系統的學習了 JVM 內存結構 6.面試必備：HashMap、Hashtable、C
2020-07-04 22:03:11
4
原创 PostGresql 函數
PG官方文檔：http://www.postgres.cn/docs/10/ 1.行列轉換函數 行轉列：string_agg select id,string_agg(name,',') from user group by id; 1
2020-07-04 22:03:11
4
原创 正則表達式入門！附常用表達式
首先區分一下正反斜槓，這兩個經常搞混。正斜槓：/ 一般用作除號或者間隔，也可以叫撇斜槓或撇槓；反斜槓：\ 一般用作目錄，也可以叫捺斜槓或捺槓； 注意一點：在window系統下，\ 表示目錄，在unix系統下，/ 表示目錄，由於web遵
2020-07-04 22:03:11
3