原创 VirtualBox虛擬機設置雙網卡：內網固定IP方便內部使用、外網DHCP方便上網
1. 管理->主機網絡管理器 網卡設置： DHCP服務器設置： 2. 選定已創建的虛擬主機，設置->網絡 網卡1設置爲：僅主機 網卡2設置爲： 橋接網絡 3.主機啓動，修改網卡配置 4.查看效果
2023-08-14 14:02:10
1
原创 解決go get無法下載依賴的問題
推薦使用的go版本爲1.13及以上版本，聲明環境變量 go env -w GO111MODULE=on go env -w GOPROXY=https://goproxy.io,direct #設置不用proxy的私有倉庫，多用逗號相隔
2023-03-29 14:03:00
原创 Centos7.3離線(tar方式)安裝mysql服務
1. 官網下載壓縮包 https://downloads.mysql.com/archives/get/p/23/file/mysql-5.7.40-el7-x86_64.tar.gz 2. 卸載系統自帶的Mariadb rpm -q
2023-03-04 14:02:02
原创 一文讀懂Kafka Connect核心概念
概覽 Kafka Connect 是一種用於在 Apache Kafka 和其他系統之間可擴展且可靠地流式傳輸數據的工具。 它使快速定義將大量數據移入和移出 Kafka 的連接器變得簡單。 Kafka Connect 可以攝取整個數據庫或從
2023-02-25 14:04:18
原创 js-cookie 設置過期時間
我們用js-cookie這款插件來設置cookie，比較方便，可以自行查看文檔。 js-cookie 的示例中只有以天爲單位的有效期： Cookies.set('name', 'value', { expires: 7 }); // 7
2022-11-18 14:02:15
原创 JS登錄密碼基於token和CryptoJS加密處理方法
1.登錄前先請求，獲取一個token，也可以在本地寫死暫且叫登錄token，用來給登錄時密碼的加密 async getToken(){ const {data:token} = await getToken()
2022-11-18 14:02:15
原创 JavaScript字符串MD5
進行HTTP網絡通信的時候，調用API向服務器請求數據，有時爲了防止API調用過程中被黑客惡意篡改，所請求參數需要進行MD5算法計算，得到摘要簽名。服務端會根據請求參數，對簽名進行驗證，簽名不合法的請求將會被拒絕。 但是目前原生JS貌似並沒
2022-11-18 14:02:15
原创 一文帶你徹底搞懂Cookie、Session和Token
在學習Cookie、Session和Token之前，我們先了解下HTTP的無狀態協議。 1、HTTP的無狀態協議 HTTP無狀態協議是指該協議對事件的處理過程沒有記憶能力，當後續的步驟需要上一步的信息時，則需要重傳，即需要攜帶上一次的信息。
2022-11-13 14:02:10
原创 flink 項目打包成jar包使用java -jar運行異常
java -jar錯誤信息如下： Exception in thread "main" com.typesafe.config.ConfigException$UnresolvedSubstitution: reference.conf
2022-11-05 14:02:41
原创 Flink SQL UNNEST/UDTF 如何實現列轉行?
在 SQL 任務裏面經常會遇到一列轉多行的需求,今天就來總結一下在 Flink SQL 裏面如何實現列轉行的,先來看下面的一個具體案例. 需求： 原始數據格式如下 name data JasonLee [{"cont
2022-11-01 14:02:36
原创 Apache Flink 流計算基準測試框架
每一種引擎有其優勢的地方，如何選擇適合自己業務的流計算引擎成了一個由來已久的話題。除了比較各個引擎提供的不同的功能矩陣之外，性能是一個無法繞開的評估因素。基準測試（benchmark）就是用來評估系統性能的一個重要和常見的過程。 01 背景
2022-10-30 14:02:17
原创 Flink性能測試case案例
在我們做測試之前，調研了一些已有的大數據平臺性能測試報告，比如，雅虎的Streaming-benchmarks，或者Intel的HiBench等等。除此之外，還有很多的論文也從不同的角度對分佈式計算平臺進行了測試。雖然這些測試case各有不
2022-10-30 14:02:16
原创 Keeping Multiple Databases in Sync Using Kafka Connect and CDC
SEP 20, 2022 Microservices architectures have now been widely adopted among developers, and with a great degree of suc
2022-10-14 14:03:13
原创 一種Hudi on Flink動態同步元數據變化的方法
一、背景 一個需求，需要同步MySQL數據到Hive，包括DDL與DML，所以需要動態同步元數據變化。 二、官方Schema Evolution例子 從Hudi官方文檔Schema Evolution(https://hudi.apache
2022-09-29 14:02:17
3
原创 zookeeper所有超時異常全解析
ZooKeeper的超時異常包括兩種： 1）客戶端的readTimeout導致連接丟失。 2）服務端會話超時sessionTimeout導致客戶端連接失效。 客戶端的readTimeout導致連接丟失 ZooKeeper客戶端的readTi
2022-09-18 14:08:17