關於kafka的搭建及問題

0-背景

最近業務需要搭建一套實時故障診斷系統。數據從傳感器來,然後通過http流或者websocket等協議推送,然後生產到kafka,最後使用機器學習模型,進行消費。
整個流程是這樣子的,裏面一些具體的內容,還不不斷的摸索和完善。
這兩天,搭建了一個單機版的kafka,然後利用python的kafka API跑了個簡單的例子。
下面先說下kafka的部署問題。


1-kafka搭建

這有個kafka的中文官方文檔,可以參考學習下。
kafka的搭建也是按照網絡的教程開始的,但是一些地方有點問題。我主要是參照這篇博文,進行的安裝。
因爲我是在自己的電腦上,所以我先安裝了一個vmware虛擬機,然後安裝了ubuntu。

  • 首先的話,需要安裝java的環境jdk。而這個博文中,沒有給到安裝教程。那麼我們可以去java的官網中找到相應的jdk,進行安裝。(注意:在ubuntu系統中,xxx.tar.gz安裝比較順利,xxx.rpm格式報錯)
  • 然後就是要安裝zookeeper,但是因爲我是安裝的單機版的kafka,其內部自帶了zookeeper。
  • 接着就是下載kafka,然後解壓,再然後配置kafka和zookeeper的配置文件。這部分內容,就請參照上面那個博文吧。(注意,有個同事安裝的時候,沒有進行配置文件,就是沒有修改那個目錄,後面也成功了;如果你安裝這個教程,修改配置文件裏面的目錄,有一點需要注意,路徑要是絕對路徑,切記!)
  • 接着就是要先啓動zookeeper,然後啓動kafka。(主要要分別開幾個終端窗口,zookeeper一個linux窗口,kafka一個linux窗口)
  • 最後就是進行驗證,驗證的話,可以參照kafka的中文官方文檔-快速開始的內容

2-總結

因爲是單機版的kafka,總體的安裝還是比較快的。
但是上面幾個點要注意下:

  • 記得安裝jdk環境,我安裝的是1.8的。
  • 記得修改了配置文件,路徑要是絕對的,或者乾脆不修改。
  • 記得啓動的時候,要開啓多個窗口。
  • 記得測試消費和生產的時候,也是一個步驟就要一個窗口。
  • 環境變量,設置與否都可以。只是目錄的問題。

3-參考文獻

kafka中文文檔:http://kafka.apachecn.org/quickstart.html
kafka單機安裝:https://blog.csdn.net/Felix_CB/article/details/85220086


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章