原创 flink on yarn
在flink on yarn模式中 flink yarn-session的兩種提交方式 1.公用一個yarn-session 在yarn中初始化一個flink集羣，開闢指定的資源，以後提交任務都向這裏提交。這個flink集羣會常駐在ya
2020-07-02 17:42:09
2
原创 flink-sql報錯POJO does not define field name: EXPR$1
代碼如下 import org.apache.flink.api.java.DataSet; import org.apache.flink.api.java.ExecutionEnvironment; import org.apac
2020-07-02 17:42:09
原创 mac 安裝es+kibana
mac 單機安裝es和kibana 下載es https://www.elastic.co/cn/downloads/elasticsearch 1.下載es版本 2.解壓es包 tar -zxvf elasticsearch-7
2020-07-02 17:42:08
2
原创 java自帶線程池Executors
Executors類裏邊常用的四種線程池 public class Executors { //1.newFixedThreadPool 創建一個定長線程池，可控制線程最大併發數，超出的線程會在無界隊列中等待 public static
2020-07-02 17:42:07
原创 java文件流的操作
package flinkdemo.threadPool; import java.io.*; /** * @author zhangkai * @create 2020/1/6 */ public class FileCopy
2020-02-21 23:04:42
原创 flink-sql-udf
package flinkdemo.flinksql.sqlJoin; import org.apache.flink.api.java.DataSet; import org.apache.flink.api.java.Executio
2020-02-21 23:04:42
原创 java常用正則-Pattern
\ 將下一個字符標記爲一個特殊字符、或一個原義字符、或一個 向後引用、或一個八進制轉義符。 ^ 匹配輸入字符串的開始位置 $ 匹配輸入字符串的結束位置 . 匹配除換行符（\n、\r）之外的任何單個字符。 \d
2020-02-21 23:04:41
原创 flink從kafka-topic固定offset消費的5種方式
package flinkdemo.sinkDemo; import flinkdemo.sourceDemo.deserialization.ConsumerRecordKafkaDeserializationSchema; imp
2020-02-21 23:04:41
原创 flink-checkpoint
Checkpoint Flink 容錯機制的核心就是持續創建分佈式數據流及其狀態的一致快照。Flink的checkpoint 是通過分佈式快照實現的,所以在flink中這兩個詞是一個意思。 checkpoint機制需要一個可靠的可以回放數
2020-02-21 23:04:41
3
原创 rocketMq單機搭建+代碼實戰
1.需要的環境 64bit OS, Linux/Unix/Mac is recommended; 64bit JDK 1.8+; 查看方式： java -version Maven 3.2.x; 查看方式： mvn -v 2.下載壓縮包z
2019-09-06 20:32:24
原创 Spark Streaming 中文亂碼問題解決
最近用Spark Streaming從Kafka接數據進行處理，是對中文的內容進行計算。發現處理時中文全變成了????????的形式，導致處理的結果和預期的不一樣。 遇到這種情況，想到的就是編碼問題，因爲在在本地運行spa
2019-08-28 21:53:24
3
原创 redis設置密碼
redis密碼設置有兩種方式，一種需要重啓redis服務，一種不需要重啓redis服務。 第一種 介紹一下需要重啓redis服務的設置方式 即找到redis的配置文件—redis.conf文件，然後修改裏面的requirepass，這個
2019-07-30 21:59:26
原创 imply的jdbc連接（druid的jdbc連接）
imply官網所說 https://docs.imply.io/on-prem/query-data/sql#client-apis 搭建了單機的imply pom需要的依賴 <dependency> <groupId>or
2019-07-30 21:59:26
1
原创 阿里otter的搭建
環境準備 1. otter manager依賴於mysql進行配置信息的存儲，所以需要預先安裝mysql，並初始化otter manager的系統表結構 wget https://raw.github.com/alibaba/otter/
2018-10-20 07:50:07
3
原创 phoenix查詢數據會有重複，怎麼解決
select "rowkey" ,"id" from "stg_as_order_orders_zk_test" where "created_at" >='2018-08-24' and "created_at" <='20
2018-09-07 22:33:44