原创 Spark的Direct方式接收kafka消息實現WordCount

1.yarn集羣開啓 2.啓動zookeeper集羣(kafka需要) 3.啓動kafka服務端、生產者和消費者端(生產者模擬往kafka灌入數據,消費者端打印數據) 3.1啓動kafka服務端 3.2啓動kafka生產者 3.3啓動

原创 mongodb集羣搭建(測試環境)

搭建集羣規劃 主機 用途 10.xxx.xx.111 主節點(主) 10.xxx.xx.112 備節點+仲裁點(從+仲裁器) 一,下載安裝包 1:首先官網下載的的Linux的安裝包下載的社區版 https://ww

原创 vue+jfinal+nginx前後臺完全分離集羣部署

簡單說:先分別將多個的Tomcat的啓動在不同的端口(非80端口)下面,然後在nginx的的中配置上游指向這些的Tomcat中,最後通過位置+正則使nginx的的接管所有靜態資源請求即可。 小編在兩臺測試服務器上做此實驗。 192.168

原创 mogodb簡介

MongoDB的簡介: mongodb的集羣搭建方式主要有三種,主從(master slave)模式,副本集(分片)模式,三種模式各有優劣,適用於不同的場合,屬副本集應用最爲廣泛,主從模式現在用的較少,sharding模式最爲完備,但配置

原创 redis-4.0.1集羣搭建

第一步redis官網下載最新的安裝包 項目中要用到redis集羣,我在測試環境上搭建了redis 的集羣。 我這裏用的是redis-4.0.11.tar.gz 的下載地址: https://redis.io/download 執行下面的

原创 rocketmq No route info of this topic錯誤(原因版本不一致)

坑啊 網上找了半天,啓動broker的時候設置autoCreateTopicEnable=true沒有用 調試,最後發現rocketmq的版本和rocketmq client的版本不一致導致。 我的集羣使用的rocketmq的版本是4.3

原创 RocketMQ4.3.0集羣搭建和部署rocketMq監控平臺

集羣部署(採用2個master,2個slave異步複製的集羣結構)   RocketMQ具有以下特點: 1)是一個隊列模型的消息中間件,具有高性能、高可靠、高實時、分佈式特點。 2)Producer、Consumer、隊列都可以分佈式。

原创 lock failed, MQ already started問題解決

lock failed, MQ already started 出現如下問題 是因爲我們在集羣中master和slave共用一個storePath造成的,這個時候 我們要啓動的每一個broker要指定不一樣的storePath 路徑就行,

原创 eclipse刪除SVN資源庫

Window - Show View - SVN資源庫 右鍵想刪除的資源位置,廢棄位置 一般的情況下我們會這樣操作直接刪除資源位置,然後添加一個新的資源位置,但是有時候我們直接找到SVN資源庫如下圖2所示,右鍵選擇廢棄位置會出現提示說:如

原创 Linux上安裝Nginx與配置

Nginx是什麼? Nginx  是一個高性能的HTTP和反向代理服務器,特點是佔有內存少,併發能力強,事實上nginx的併發能力確實在同類型的網頁服務器中表現較好,中國大陸使用nginx網站用戶有:百度、京東、新浪、網易、騰訊、淘寶等。

原创 Linux上安裝mysql

MySQL下載地址:http://dev.mysql.com/downloads/mysql/ 安裝前準備 1.先檢查Linux中是否存在mysql rpm -qa|grep mysql 如果存在mysql-libs的舊版本包如下:

原创 搭建Nginx負載均衡解決session一致性問題

做負載均衡前我們先普及一下知識點 http協議是無狀態的,即你連續訪問某個網頁100次和訪問1次對服務器來說是沒有區別對待的,因爲它記不住你。 那麼,在一些場合,確實需要服務器記住當前用戶怎麼辦?比如用戶登錄郵箱後,接下來要收郵件、寫郵件

原创 mysql常見join

mysql常見7種join CREATE TABLE `t_dept` (  `id` INT(11) NOT NULL AUTO_INCREMENT,  `deptName` VARCHAR(30) DEFAULT NU

原创 redis持久化(rdb和aof)

什麼是rdb? rdb--Redis DataBase 在制定的時間間隔內將內存中的數據集快照寫入磁盤(snapshot快照),redis恢復時將快照文件直接讀到內存。rdb保存的是dump.rdb文件(在bin/目錄下會看到) 工作原理

原创 搭建zookeeper集羣

搭建zookeeper的分佈式集羣 leader和flower服務器。  在hadoop001 、002、003、004機器上安裝zookeeper的安裝包,具體安裝見我上一篇安裝介紹。 1:省略安裝zookeeper 注意在zookee