原创 linux的vi命令和查找命令

一:查找 Linux查找文件內容的常用命令方法。   從文件內容查找匹配指定字符串的行: $ grep "被查找的字符串" 文件名例子:在當前目錄裏第一級文件夾中尋找包含指定字符串的.in文件grep "thermcontact" */

原创 kafka學習七:kafka 運維

Kafka管理工具 Kafka集羣管理工具 Kafka集羣管理內容包括服務器啓停、leader均衡、複製、集羣鏡像、集羣擴展等。 添加服務器 向Kafka集羣中添加服務器時,需要分配一個唯一的broker ID給新服務器。這時添加新服務器

原创 ElasticSearch學習一:搜索實例演示(Java API)

安裝包下載 當前最新版本爲:0.20.6 http://www.elasticsearch.org/download/ 官方視頻教程 http:/

原创 ElasticSearch學習五:實例展示elasticsearch集羣生態,分片以及水平擴展.

 elasticsearch用於構建高可用和可擴展的系統。擴展的方式可以是購買更好的服務器(縱向擴展)或者購買更多的服務器(橫向擴展),Elasticsearch能從更強大的硬件中獲得更好的性能,但是縱向擴展也有一定的侷限性。真正的擴展應

原创 RESTful WebService入門

RESTful WebService是比基於SOAP消息的WebService簡單的多的一種輕量級Web服務,RESTful WebService是沒有狀態的,發佈和調用都非常的輕鬆容易。   下面寫一個最簡單的Hello World例子

原创 kafka學習六:kafka集成第三方

Storm集成Kafka Storm簡介 少量數據的實時處理可以使用JMS(Java Messaging Service)這類技術,但是數據量很大時便會出現性能瓶頸。而且這些方案不適合橫向擴展。 Storm是開源的分佈式實時數據處理系統。

原创 Memcache知識點梳理

Memcache知識點梳理 Memcached概念:     Memcached是一個免費開源的,高性能的,具有分佈式對象的緩存系統,它可以用來保存一些經常存取的對象或數據,保存的數據像一張巨大的HASH表,該表以Key-value對

原创 http相應get和post請求示例

public class TestGetPost { /** * 向指定URL發送GET方法的請求 * @param url 發送請求的URL * @param param 請求參數,請求參數應該是name1=value1&

原创 ElasticSearch學習四:集羣搭建實例

下個月又開始搞搜索了,幾個月沒動這塊還好沒有落下. 晚上在自己虛擬機上搭建了一個簡易搜索集羣,分享一下. 操作系統環境: Red Hat 4.8.2-16 elasticsearch : elasticsearch-1.4.1 集羣搭建方

原创 kafka學習四:開發producer

procedure就是產生消息並將消息發佈至broker的應用。 producer連接至任意的活動節點並請求獲取某個topic的partition的leader元數據。這樣producer可以直接將信息發給該partition的lea

原创 zookeeper 入門講解實例 轉

zookeeper使用和原理探究(一) zookeeper介紹 zookeeper是一個爲分佈式應用提供一致性服務的軟件,它是開源的Hadoop項目中的一個子項目,並且根據google發表的<The Chubby lock service

原创 kafka學習二:構建Kafka集羣

現在我們構建Kafka消息訂閱發佈系統。Kafka支持多種集羣方式,例如: 單節點單broker集羣單節點多broker集羣多節點多broker集羣一個Kafka集羣主要包含以下五個組件: topic:topic是producer發佈的消

原创 kafka學習三:設計

在開始開發producer和consumer之前,先從設計的角度看一看Kafka。 由於重度依賴JMS,且實現方式各異、對可伸縮架構的支持不夠,LinkedIn開發了Kafka來實現對活動流數據和運營指標數據的監控,這些數據包括CPU、I

原创 kafka學習五:開發consumer

consumer就是接收producer發佈的消息進行處理的應用。 上圖描述了consumer消費消息的high-level層工作原理。consumer從broker內的topic訂閱消息;然後consumer向lead broker發

原创 MySQL入門04-MySQL主從配置

環境:CentOS 6.7 + MySQL 5.6.30 主節點:192.168.56.102 從節點:192.168.56.103 已經分別安裝好單機MySQL,現在配置兩臺MySQL的主從複製。 1.主節點授權同步用戶 官方文檔