原创 centos7利用rp-pppoe進行撥號上網

一、配置 離線下載rp-pppoe,注意要下載當前linux版本對應的rpm包 傳到centos7系統中,並進行本地安裝: yum localinstall rp-pppoe.rpm 啓動pppoe配置: pppoe-s

原创 關於學習的方法論

要麼快速地浮光掠影地過一遍,不去追問一二三,知道是什麼即可;要麼認真記筆記,留下文檔,否則等於浪費時間。

原创 spring mvc過濾器Filter與druid數據源中Filter中的區別與關聯

文章目錄一、背景:二、spring mvc中的Filter:三、druid中的Filter:四、結論: 一、背景:   使用阿里druid數據源,可以在頁面對sql和spring bean進行調用頻次的監控,以排查慢查詢等問題,但

原创 關於elasticsearch中_update_by_query接口樂觀鎖的思考

背景:   給某銀行做一個實時計算項目,用戶交易記錄鏈路爲oracle->ogg->kafka->flink->elasticsearch,交易記錄最終到達Elasticsearch中並對外提供查詢服務,交易記錄中有個printN

原创 Kafka安全認證:centos7上安裝kerberos

文章目錄1.kerberos概念介紹2. kerberos認證過程3. kerberos安裝4. 創建 KDC 數據庫5. 編輯 `kadm5.acl`6. 啓動kdc和admin7. 添加principal8. 使用keytab

原创 mac下使用sshpass讓iterm2支持多登錄

背景:當前測試機器較多,每次登錄時,都需要人工輸入,特別浪費時間,影響效率,花一分鐘記錄在小工具中,可以節約千萬個1分鐘。你還不用?? 一.安裝sshpass 下載:http://sourceforge.net/projects/

原创 Kafka Connect:kafka connect實時ETL啓動與停止腳本

自己搭建了kafka connect實時ETL環境,並編寫了shell腳本以方便啓動和停止,具體代碼如下: 啓動腳本: #!/bin/bash #腳本涵蓋從啓動kafka connect集羣到schema-registry和sch

原创 記一次上傳文件超時問題的排查過程

背景: 報錯nginx 504 timeout,上傳請求的鏈路如下: 頁面請求->nginx->nodejs服務->網關->後端java服務,如果是nginx超時,則nodejs服務、網關、java服務都有嫌疑。 解決: 1、嘗試

原创 Kafka安全認證:SASL/GSSAPI(kerberos)

文章目錄kafka和zookeeper開啓kerberos認證1. 環境2. 創建主體並生成keytab3. 配置jaas.conf4. 配置kafka server.properties5. 配置kafka zookeeper.

原创 mysql MVVC查詢需要滿足的條件

mysql MVVC用於repeatable read隔離級別,用於解決不可重複度的問題,根據MVVC機制,查詢出來的行需滿足以下兩個條件: 查詢出來的行的創建時間小於等於當前事務ID,以確保執行當前事務之時,記錄已經存在 查詢

原创 mysql redolog binlog 之二階段提交

文章目錄一:什麼是redolog和binglog?二:redolog和binlog可以相互替代或者只保留其一嗎?1. 可以使用binlog替代redolog進行數據恢復嗎?2. 可以只使用redolog而不使用binlog嗎?三:

原创 插件化開發進階篇—利用SPI進行插件化開發

文章目錄1. 爲什麼要進行插件化開發?2.類加載器命名空間3. SPI3.1 示例3.2 源碼解析4. class緩存查找機制4.1 findLoadedClass緩存查找4.2 Class.forName緩存查找5. 文件監聽機

原创 插件化開發基礎篇—類加載

文章目錄1. 什麼是類加載?2. 類加載的方式?2.1 顯式加載2.2 隱式加載2.2.1 延遲加載3. 類加載的過程4. 雙親委派4.1 確立父子關係4.2 委派過程4.3優缺點5. 打破雙親委派6. 命名空間 1. 什麼是類加

原创 Kafka原理:kafka之mmap文件讀寫方式

衆所周知,kafka之所以吞吐量高,其中的一個重要原因就是因爲其consumer在讀取日誌文件時使用了mmap的方式,mmap與常規文件讀寫的區別如下: 總結:mmap之所以能有效提高kafka的吞吐量,是因爲其在進行log文件

原创 centos7中利用systemd.timer設置定時時間同步

背景 centos7安裝在windows中的vmware虛擬機中,一旦windows進入睡眠狀態,則centos7也會休眠且系統時間會停止,因此centos7的系統時間會逐步比windows慢,想到用定時任務的方式去同步互聯網時間