原创 Flink,coGroup DataSet數據集，coGroup實例，java版本
package CoGroup; import org.apache.flink.api.java.DataSet; import org.apache.flink.api.java.ExecutionEnvironment; i
2020-06-22 11:26:18
原创 Flink,join DataSet數據集，join實例，java版本
package join; import org.apache.flink.api.common.functions.JoinFunction; import org.apache.flink.api.java.DataSet;
2020-06-22 11:26:18
原创 Flink,union雙流，union實例，java版本
union雙流後會生成一個新的流，沒有去重 package union; import org.apache.flink.api.java.tuple.Tuple2; import org.apache.flink.streaming
2020-06-22 11:26:18
原创 Hive,正則表達式，校驗是否是數字的問題,\\,regexp,rlike踩過的坑！！
一個很奇怪的問題： 不用.py腳本，直接輸入hive語句，運行的結果正確，'^\\d+$'能正確校驗是否是數字字符串： hive> select '34xd123scs12' regexp '^\\d+$' ; OK false Ti
2020-06-22 11:26:18
原创 Linux 文件權限 -rwxr-xr-- 可讀 可寫 可執行 什麼意思 ？
2.1.文件信息含義解釋 文件信息：drwxr-xr-x. 2 root root 4096 Oct 29 16:43 Desktop drwxr-xr-x：文件類型和權限。第1位：文件類型，剩餘9位：文件權限 2：鏈接數，普通文件鏈接數
2020-06-22 11:26:18
原创 Hive 添加表註釋、修改表註釋
添加表註釋、修改表註釋的語句相同： 以下2個語句都正確： ALTER TABLE table_name SET TBLPROPERTIES('comment' = '表的新註釋'); alter table table_name set
2020-06-22 11:26:18
原创 Flink,join雙流，join實例，java版本
Flink中的join是相同key做笛卡爾積，與SQL裏的inner join同義！ inner join:左表只有1行，但右表有6行重複，inner join後，結果是6行！！！ inner join:左表有2行重複，但右表有6行重複，
2020-06-16 14:42:07
原创 Flink ,Min MinBy Max MaxBy 實例
.min(0) //找屬性0值最小的值，返回一個tuple元素（可能是源頭不存在的元素），屬性0是窗口內所有元素的屬性0的最小值，屬性1是窗口內第一個tuple的屬性1值 .min(1) //找屬性1值最小的值，返回一個tuple元素（
2020-06-16 06:54:17
原创 Hadoop分片原理 split,getSplit，map任務數
hive.merge.mapfiles Merge small files at the end of a map-only job.(只有map任務，沒有reduce任務的job) true hive.merge.mapr
2020-06-03 14:38:42
原创 python3 ,split 用法
#!/usr/bin/python3 txt = "Google#Runoob#Taobao#Facebook" # 第二個參數爲 1，返回兩個參數列表 x = txt.split("#", 1) print(x) res1=
2020-05-31 14:16:52
原创 java,if else if else if 成立時只會走其中一個路徑，不成立時纔會一個一個走
public int f3() { if (2 <=1) { return 0; } else if (2 == 3) { return 2;
2020-04-30 04:40:59
原创 java, split(regex) 和 split(regex, limit)用法
limit是正整數時表示分割成幾個字串，先分割前面的 limit是負整數時表示完全分割，子串可能會是"" limit是0時，與split("分割符")同義，子串不會是"" String str = "a,b,c,,";
2020-04-30 04:40:59
原创 java，catch時依然返回結果
public String f3() { try { String s = null; return s.replaceAll("1", "2");
2020-04-30 04:40:59
原创 SLF4J: Failed to load class "StaticLoggerBinder".SLF4J: Defaulting to no-operation (NOP) logger
SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder". SLF4J: Defaulting to no-operation (NOP) logger impleme
2020-04-30 04:40:59
原创 flink，keyBy,countWindow ,分區，計數窗口 實例
package wikiedits; import org.apache.flink.api.java.functions.KeySelector; import org.apache.flink.streaming.api.da
2020-04-30 04:40:59