原创 distinct實現單列去重的解決方法
衆所周知，distinct是不可以對單列進行去重。但是多種字段去重又應該怎樣實現呢？ 如下表所示：(表命名爲table) id value 1 A 2 B 3 B 4 C 4 D 5 E 1
2020-06-15 23:59:35
原创 hive解析json的兩種方法：get_json_object()和json_tuple()
get_json_object() 描述：get_json_object函數第一個參數填寫json對象變量，第二個參數使用$表示json變量標識，然後用 . 或 [] 讀取對象或數組； 定義：該方法只能接受兩個參數，如果想要查看多
2020-06-15 23:59:24
原创 PV/UV
pv 頁面瀏覽量或者頁面點擊量，衡量網站用戶訪問的網頁數量，在一定統計週期內用戶每打開或刷新一個頁面就記錄1次，多次打開貨刷新同一頁面則瀏覽量累計 sum() uv 通過會聯網範文，瀏覽這個網頁的自然人，訪問網站的一臺電腦客戶端被
2020-06-15 23:59:24
原创 excel快速拆分數據的方法
背景：想要使用postman來進行查詢數據，格式如下圖所示，溫度信號比較多，而且信號給錯了 正確的信號其實是 我只是舉了個例子，所以用的信號比較少，可以手動操作即可。可是如果是幾百條數據要如何操作呢？ 首先將信號複製到exce
2020-06-15 23:59:24
原创 性能測試之jmeter（下載安裝）
身爲一個90後的老阿姨，最近又開始研究上了測試，下面以我自己的親身經驗給大家詳細講解一下安裝下載Jemeter。 下載安裝Jmeter 點擊 http://jmeter.apache.org/download_jmeter.
2020-06-15 23:59:24
原创 hive中substr用法詳解
請注意！請注意！請注意！重要的事情說三遍，hive中的substr用法是這樣子使用的： 使用語法: substr(string A, int start),substring(string A, int start) 兩者用法一樣
2020-03-31 14:49:33
原创 Hive提示 Schema of both sides of union should match
Hive提示 Schema of both sides of union should match 背景：使用了union all 原因：union all的表字段沒有匹配 點贊 收藏 分享
2020-02-21 04:25:39
原创 MYSQL：查詢一個表的數據是否在另一表中存在
查詢b表中bid不爲3的數據在a表中是否存在： select a.a1,b.b2 from a inner join b on a.id=b.id where b.bid!=3 and a.is_delete=0
2020-02-21 04:25:39
原创 java與mysql數據類型對照表
java與mysql數據類型對照表 前提：mysql中有些數據類型，通過jdbc到java中時，由於數據類型不匹配，會造成數據丟失。所以需要類型轉換來避免這種情況。 應用場景：在進行數倉數據 業務庫數據（mysql）以及加工後的數
2020-02-21 04:25:39
原创 getColumnLabel（）與getColumnName（）區別
在使用java程序進行數據對比的時候，在sql中 select id as people_id,name,age from a; 使用java程序運行的時候會發現，數據明細顯示的是： id=1 name =linda age=
2020-02-21 04:25:39
原创 hive：查找重複的記錄
真是服了我自己了，過了個新年，連hiveSQL都忘記怎麼寫了。 這回記錄到博客上面吧，這回要牢牢的記住。 在工作的過程中呢，我突然想查看一下這個字段有沒有重複的，於是乎寫了下面的sql select count(e_id),cou
2020-02-21 04:25:39
原创 java 大小寫轉換：equals（）與equalsIgnoreCase（）方法區別
1.equals方法比較兩個字符串是否相等 private SqlStringServiceImpl getSqlStringService (String type) throws Exception { if (type.e
2020-02-21 04:25:39
原创 日期函數總結
UNIX時間戳轉日期函數: from_unixtime 語法: from_unixtime(bigint unixtime[string format])。 轉化UNIX時間戳（從1970-01-01 00:00:00 UTC
2019-08-23 03:51:58
原创 hive中round、floor、ceil區別及用法
浮點數四捨五入： round(1.4) : 1 round(1.5) : 2 浮點數取兩位小數： round(1.23454,2) : 1.23 round(1.04234,2) : 1.04 round(1.04534,2)
2019-08-23 03:51:58
原创 ROW_NUMBER()與FIRST_VALUE(url)區別（取首次記錄）
工作中經常會遇到一次時間可以進行多次更改的情況，每次更改都會生成一條記錄。那麼如果想要取第一條數據的情況下，可以使用函數來解決。 hive函數取首次數據： 1.FIRST_VALUE 取分組內排序後，截止到當前行，第一個值 sel
2019-08-03 16:49:17
4