原创 如何確保kafka topic已經刪除

問題描述 TopicExistsException: Topic 'xxx' is marked for deletion. 在寫kafka工具時,有兩個方法:批量創建topic和批量刪除topic。 運維操作一般是,批量刪除一堆top

原创 在consumer producer運行時停止kafka服務端會怎樣

結論 服務端停止時,客戶端程序會報錯; 服務端啓動後,客戶端程序能繼續運行。也就是,消費者線程並未異常退出。 實驗步驟 (1)停止後,consumer和producer會報錯。 消費者: . ____ _

原创 在producer/consumer運行時刪除topic會怎麼樣

broker端有個參數(kafka_2.13-3.2.1/config/server.properties),auto.create.topics.enable,默認爲true。意思是,當生產者、消費者讀寫一個不存在的topic時,是否自動

原创 如何在Spring Boot代碼中執行sql腳本

在spring應用運行時,有一些建表語句,或則初始化數據,需要從sql腳本導入。 本文推薦以下兩種方法。 假設腳本位於/resources/ddl.sql 1 使用@sql註解 該註解可用於類和方法。 @Sql(scripts = {"/d

原创 Process Explorer檢測彈窗廣告的利器

有時候電腦右下角、正中間彈出的廣告,沒有任何logo和落款,不知道是哪個軟件搞的。這就好比捱了一拳,沒看見出拳的人。 微軟的一個大佬開發的 Process Explorer 功能強大,能解決這個問題。將工具欄上的瞄準鏡拖動到廣告彈窗上面即可

原创 Spring的依賴管理

SpringBoot依賴管理的能力 SpringBoot管理的依賴有1000多個,詳見Dependency Versions (spring.io)。這些組件,在和SpringBoot一起使用的時候,可以不指定版本,因爲SpringBoot

原创 Kafka 核心技術與實戰》學習筆記

簡介 Apach Kafka 是一款分佈式流處理框架,用於實時構建流處理應用。它有一個核心的功能廣爲人知,即作爲企業級的消息引擎被廣泛使用。 很多主流消息引擎系統都支持 JMS(Java Message Service)規範,比如 Acti

原创 Kafka事務不完全指南

Kafka的事務是什麼 生產者往多個topic裏面寫消息,要麼同時成功,要麼同時失敗。 爲什麼需要事務 消息系統有3種語義: 最多一次 最少一次 精確一次。Exactly Only Once 爲了實現精確一次的語義,Kafka必須引入事

原创 kafka offset爲什麼不連續

why kafka offset not sequential 未使用事務時,至少一次語義,消息重發時,會佔用offset 使用事務時,每次事務的commit/abort,都會往topic(每個分區?)寫一個標誌,這個標誌會佔用offse

原创 使用python爬取jar包、npm包、go包的最新版本

場景 公司內網有maven倉庫,掃描之後發現很多組件有漏洞,主要是因爲版本太老。因此需要將這些漏洞組件的最新版導入內部的maven私服。 問題 這麼多漏洞組件,一個個去中央倉庫找最新版,顯然不科學。因此要整個腳本來做這件事情。 方案 衆所

原创 使用API提交URL到百度和Bing

建站之後,爲了文章能夠被搜索引擎收錄,我們需要將站點提交到Google、百度、Bing等搜索網站,通過驗證之後,搜索引擎纔會去我們的網站爬數據。 爲了方便爬蟲爬取我們站點裏的文章,我們可以將站點地圖(sitemap.xml)提交到搜索網站。

原创 Linux CPU 性能測試

sysbench Sysbench is mainly intended for doing database benchmarking. However it includes options to test CPU, memory an

原创 使用 Hugo + Github Pages 創建靜態網站博客

最好的參考資料仍然是官方。本文僅作一個基本描述 安裝Hugo 在此處下載安裝包。有兩個版本:(1)hugo;(2)hugo_extended。怎麼選?很多功能,包括一些主題,都需要hugo_extended的支持,因此,建議安裝hugo

原创 Windows和Linux的不同換行符導致腳本執行異常

問題描述 有一個配置文件 config: KAFKA_HOME=/home/wy/dev/kafka_2.13-2.6.0 BOOTSTRAP_SERVER=127.0.0.1:9092 另有一個使用該配置文件的腳本 list-topic

原创 雲筆記軟件簡評

本文首發V2EX。 這段時間試用了好多筆記軟件,我本來就是個選擇困難症,一個個試下來,愁死我了。 分享一下我的一些階段性結論。 有道 缺點: 編輯器有問題,Ctrl+Home/End無法跳轉、table鍵無法切換單元格、光標移動慢等問題