原创 java：util：SpringUtil
package com.huayong.bi.web.common.util; import org.springframework.beans.BeansException; import org.springframework.b
2020-06-16 06:48:55
原创 sql：hive：mysql：函數：NVL、NVL2、NULLIF，IFNULL、Coalesce
hive中： NVL： 第一個參數爲空(注意這裏是指null，不是空串)那麼顯示第二個參數的值，如果第一個參數的值不爲空，則顯示第一個參數本來的值 select NVL(age,9999999 ) from tmp.test age 2
2020-06-16 06:48:45
原创 spark：sparksql：Spark SQL/DataFrame/DataSet操作（四）-----Join
https://blog.csdn.net/lingbo229/article/details/82464466
2020-06-16 06:48:45
原创 jvm：查看jvm各塊兒空間的使用詳細情況，如堆，方法區
查詢一個項目的使用堆棧情況，ps - ef | grep 項目名 拿到端口，然後使用如下命令，查詢項目使用堆棧詳細信息 [root@xg ~]# jmap -heap 15653 Attaching to process ID 156
2020-06-16 06:48:45
原创 sql：mysql：查詢所有數據庫+表名+字段名+字段類型+註釋
select TABLE_SCHEMA '數據庫',TABLE_NAME '表名',COLUMN_NAME '字段名',COLUMN_TYPE '字段類型',COLUMN_COMMENT '註釋'from information_sch
2020-05-27 06:49:41
原创 spark：sparksql：sparksql的agg函數，作用：在整體DataFrame不分組聚合
1、 agg(expers:column*) 返回dataframe類型 ，同數學計算求值 df.agg(max("age"), avg("salary")) df.groupBy().agg(max("age"), avg("salar
2020-05-24 11:02:10
原创 hadoop：JournalNode的作用
NameNode之間共享數據（NFS 、Quorum Journal Node（用得多）） 兩個NameNode爲了數據同步，會通過一組稱作JournalNodes的獨立進程進行相互通信。當active狀態的NameNode的命名空間有任
2020-05-19 04:29:27
原创 hive：正則：匹配中文/英文/數字（REGEXP 和 rlike）
數據： Java開發工程師 Java工程師 海外BD崗 移動web研發工程師 DBA工程師 JAVA高級開發工程師 PHP開發工程師 android資深開發經理 課程顧問/sales manager EPM 認證工程師 品牌總監 分時租
2020-05-15 22:06:13
原创 java：獲取字符串中某個字符串第一次出現的位置（索引）
此處用Matcher和Pattern類會非常簡單，這兩個類是利用正則表達式匹配查找的相關類，詳細可以參見java Pattern和Matcher詳解 public static void main(String[] args)
2020-05-15 16:31:28
原创 hive：幾種實現like的方式
LOCATE： SELECT s.title,t.name FROM (select * from bo.t_positions limit 1000) s RIGHT JOIN resume.pf_basic_dic t ON(TRU
2020-05-12 02:51:35
原创 hive：表做關聯，字段出現了換行
我用sqoop拉取mysql表，到hive中後表的存儲格式爲parquet格式。 這時我要用此表關聯另一張表，自己建的表。如下： 兩個建表語句（語句2多了 STORED AS parquet）： 語句1： CREATE TABLE `
2020-05-11 15:53:39
原创 hadoop：MapReduce （Writable）輸出結果中文亂碼解決
hadoop涉及輸出文本的默認輸出編碼統一用沒有BOM的UTF-8的形式，但是對於中文的輸出window系統默認的是GBK，有些格式文件例如CSV格式的文件用excel打開輸出編碼爲沒有BOM的UTF-8文件時，輸出的結果爲亂碼，只能由U
2020-05-09 16:44:55
原创 hadoop：HDFS：基本命令
一：文件操作 1、建立目錄 [hadoop@hadoop1:hadoop]$bin/hadoop dfs -mkdir testdir 在HDFS中建立一個名爲testdir的目錄 2、上傳文件到HDFS [hadoop@hadoop1
2020-05-05 08:54:38
原创 java：MapUtil
import java.util.*; import java.util.ArrayList; import java.util.Collections; import java.util.Comparator; import java
2020-04-30 05:56:39