原创 MySQL中創建視圖以及存儲過程中或視圖SQL SECURITY含義
1. 語法 CREATE [OR REPLACE] [ALGORITHM = {UNDEFINED | MERGE | TEMPTABLE}] [DEFINER = user] [SQL SECURITY { DEFINER | INVO
2020-07-03 22:43:30
1
原创 sparksql關於：創建hive外部表create external talble以及createGlobalTempView
先上結論： sparksql中不支持create external table外部表的創建，只能是非external表。使用write.option(“path”,"/some/path").saveAsTable是extern
2020-06-07 10:31:35
原创 Flink作業問題分析和調優實踐
1.什麼是 checkpoint 簡單地說就是 Flink 爲了達到容錯和 exactly-once 語義的功能，定期把 state 持久化下來，而這一持久化的過程就叫做 checkpoint ，它是 Flink Job 在某一時
2020-06-07 10:31:35
原创 Flink整合kafka並基於事件源生成時間戳以及水印
本案例僅爲官方文檔案例補全說明。 Flink整合Kafka，爲Kafka中消息指定時間戳以及生成水印。 消息格式：id，消息生成時間戳，消息體 定義消息類： public class MyEvent implements Seriali
2020-06-07 10:31:35
原创 解決Java:程序包xxxx不存在 或者object apache is not a member of package org
現象： 安裝IntelliJ IDEA 2020.1.1後，打開項目，執行，發現flink項目始終無法啓動，報錯都是： scala代碼：object apache is not a member of package org java代碼
2020-05-19 12:17:00
5
原创 cdh6.3安裝以及整合spark2、flink1.9
總結： 配置cm-server的yum本地安裝路徑，使用yum安裝好cm-server即可，cm-agent無需手動到節點去安裝，cm會自動在節點上安裝。 parcels文件不用安裝yum本地源，後續直接拷貝到cm server
2020-05-09 05:27:03
原创 Flink Sink KafkaFlink作爲生產者中並行度同kafkapartition關係
本文主要針對Flink1.0中關於Flink Sink的並行度和KafkaPartition的關係，官網見： https://ci.apache.org/projects/flink/flink-docs-master/dev/conne
2020-04-30 00:11:03
原创 Flink滾動窗口函數的開窗起始時間計算規則
Flink的窗口函數起始時間計算公式： timestamp - (timestamp - offset + windowSize) % windowSize # timestamp爲最早時間的記錄時間戳 # offset 爲參數偏移時間
2020-04-22 02:44:25
原创 centos7安裝gnome以及美化
安裝桌面 1. 安裝過程： yum update grub2-common # 安裝圖形接口協議 yum groupinstall "X Window System" # 安裝桌面圖形化軟件 yum groupinstall "
2020-04-19 13:23:58
原创 AQS框架原文翻譯 - The java.util.concurrent Synchronizer Framework
原文鏈接 論文地址：http://gee.cs.oswego.edu/dl/papers/aqs.pdf 正文翻譯 在J2SE 1.5的java.util.concurrent包（下稱j.u.c包）中，大部分的同步器（例如鎖locks，屏
2020-04-19 13:23:58
原创 net/http: request canceled while waiting for connection或者 net/http: TLS handshake timeout.
windows 10 下安裝docker desktop： 拉取nginx測試:docker pull nginx 報錯：Get https://registry-1.docker.io/v2/: net/http: TLS handsh
2020-03-12 17:20:15
5
原创 使用prometheus監控node_exporter告警案例
測試案例： 非常簡單的一個直觀演示prometheus案例，個人感覺遠比官方random那個好多了！ 覆蓋功能組件全，監測內容完全可控，而且更加直觀。當然有幾個PromQL其實都大同小異。 1.使用node_exporters
2020-03-07 22:03:26
1
原创 scala基礎、數組相關操作、映射、元組
章節 基礎 控制結構和函數 數組相關操作 映射和元組 1.基礎[ ⬆TOP](#start) 在REPL中可以輸入：paste來粘貼代碼進去，ctrl+d結束。 2.:quit推出REPL，：help顯示幫
2020-02-23 04:46:37
原创 java.net.URISyntaxException: Illegal character in path at index X
在使用 new URI(String）時出現報錯，java.net.URISyntaxException: Illegal character in path at index 如果涉及了特殊字符，如‘｜’‘&’等需要轉碼，否則一律使
2020-02-23 04:46:37