原创 centos7部署mysql 5.7.27，並設置用戶賬戶
前言：最近需要部署一個5.7版本的mysql，供開發測試用。 1，先建好指定目錄，我準備在把安裝包下載到/opt/mysql mkdir /opt/mysql cd /opt/mysql 2，下載安裝包 wget https://de
2019-09-15 17:29:08
原创 kafka系列——kafka生產中消費速度慢的問題（三）
前言：kafka是個高吞吐的消息中間件，有着削峯填谷的作用。 最近在生產中，發現消費速度跟不上生產速度，很是好奇，kafka不是號稱高吞吐嗎？難道是kafka吐的太慢了？後來查了很多資料，總算弄清了點頭緒。不是kafka的鍋，是自己的消費
2019-06-10 19:33:49
1
原创 Centos7添加用戶和用戶組，並加sudo權限
前言：登錄服務器總不能所有人都用root，root權限太大。 一：添加用戶組和用戶 #添加用戶組dev groupadd dev #添加libb用戶，並歸屬於dev組 useradd -g dev libb #給libb用戶改密碼
2019-05-11 05:39:56
1
原创 ELK系列——7.0.0 elasticsearch-rest-high-level-client踩坑記（六）
前記：今天要用java來連es集羣查數據，目前連es的常用辦法一般有兩種： 1：elasticsearch-rest-high-level-client（這個會隨着es的版本同步更新） 2：spring-boot-starter-data
2019-05-09 04:54:04
1
原创 ELK系列——7.0.0 logstash踩坑記（四）
前言：玩 logstash 7.0.0 的時候又碰到了bug... 修改一：es7.0版本去掉了type的概念，所以當我在用logstash往es導入數據的時候，用這個模板文件做映射就會報錯。 { "order" : 0,
2019-05-08 04:57:39
2
原创 nginx+keepalived實現emq集羣負載均衡高可用（七）
前言：壓測emq集羣之前需要有負載均衡服務，做負載均衡的一般常用nginx，也可以用haproxy，我這裏用nginx。 雖然一個nginx就可以實現負載均衡的功能，但nginx作爲一個入口，如果掛了後續服務都將受到影響，nginx+ke
2019-05-05 03:03:30
5
原创 ELK系列——7.0.0 elasticsearch 集羣部署踩坑記（四）
前言：最近es7系列版本出來了，玩了一下，發現之前的配置不管用了，看官方文檔後發現，好些配置都改了。 es官方文檔 開始按照以前的配置玩，啓動後發現一直報警告日誌： master not discovered yet, this node
2019-05-05 03:03:30
617
原创 emqtt_benchmark壓測emqx集羣（六）
前言：前面分別對單臺emqx進行了壓測，並且從壓測結果來看，可以看出單臺的能力已經很強，只要資源給夠的情況下，應該是能達到官方說的百萬連接。但我也說過，單節點是沒有容災能力的，所以現在來測集羣。 我三個emqx服務分別跑在1核4G內存的虛
2019-04-25 00:51:40
原创 emqtt_benchmark壓測單臺emqx服務器（五）
前言：官方說的單臺連接達到百萬，雖然我信，但我還是要自己玩一下。 我用emqtt_benchmark進行壓測，要用emqtt_benchmark需要有erlangR17版本以上的環境 ## 安裝erlang虛擬機 yum -y inst
2019-04-25 00:51:40
1
原创 物聯網場景下MQTT初探（一）
前言：最近在研究車聯網場景下，大量車輛會同時在線，並且會同時上傳數據，這就需要能支持大量的連接數以及大量的數據吞吐的構件。 MQTT（Message Queuing Telemetry Transport，消息隊列遙測傳輸）是IBM開發的
2019-04-23 19:16:08
2
原创 emqx服務器的單點搭建（二）
前言：前面選了國內的開源項目emq作爲服務器，它起到與大量設備連接以及將大量設備連接後發送的消息進行轉發的作用。 哎太簡單了，看文檔來吧。 emqx官方文檔
2019-04-23 19:16:08
原创 emqx服務器的權限驗證（三）
前言：emqx是默認開啓匿名認證的，即客戶端不需要任何認證信息即可連上emqx服務器，但生產環境這樣肯定是不行的。emqx也支持很多種認證方式，這裏我選着最簡單的一種，用戶名密碼認證。
2019-04-23 19:16:08
原创 kafka集羣搭建
前言：前面搭好了kafka要依賴的zookeeper（其實kafka自己內置了zookeeper，但我還是用自己搭的），現在開始搭建kafka集羣。 在/opt目錄解壓後，進入config/server.properties修改： br
2019-04-16 17:52:14
原创 zookeeper集羣搭建
前言：最近要搭kafka，要依賴zookeeper，所以先搭建zookeeper集羣。 下載zookeeper後，上傳到/opt目錄下解壓。 在/conf下拷貝zoo_sample.cfg一份並改名爲zoo.cfg文件，裏面添加： da
2019-04-13 17:39:05