原创 使用daemontools監控Zookeeper服務

daemontools(http://cr.yp.to/daemontools.html)是一個管理UNIX下服務的工具集。supervise監視一個服務。它啓動一個服務、當服務停掉時它會重起服務。 Zookeeper在運行過程中,如

原创 Java高速、多線程虛擬內存

本文作者Alex已經從事Java開發15年了,最近幫助開發了COBOL和Magik語言的JVM 。當前,他正致力於Micro Focus的Java性能測試工具。在本文中,他闡述了在標準硬件中實現高速、多線程虛擬內存的可能性及方案。原文內

原创 Mapreduce中的RCFile輸出RCFileOutputFormat實現及其應用

自定義實現RCFileOutputFormat.java  import java.io.IOException; import org.apache.Hadoop.conf.Configuration; import or

原创 MapReduce on Avro Data Files

MapReduce on Avro Data Files 時間2014-03-10 13:11:41 Architects Zone 原文  http://java.dzone.com/articles/mapreduce-avro-

原创 Linux網絡流量實時監控ifstat iftop命令詳解

ifstat 介紹 ifstat工具是個網絡接口監測工具,比較簡單看網絡流量   實例 默認使用 #ifstat eth0 eth1 KB/s in KB/s o

原创 HBase性能調優

因官方Book Performance Tuning部分章節沒有按配置項進行索引,不能達到快速查閱的效果。所以我以配置項驅動,重新整理了原文,並補充一些自己的理解,如有錯誤,歡迎指正。 配置優化 zookeeper.session.

原创 kafka 集羣運維和使用

最近在維護kafka集羣,遇到了很多問題都需要記錄下: 集羣信息:12臺服務器,每臺機子12塊盤每塊1.8T,其中6臺做RAID,6臺使用12塊盤,64G內存,CPU24核,萬兆網卡。集羣每天寫入的消息量能到每天33億條消息,消費暫時還沒

原创 HBase性能優化方法總結(三):讀表操作

本文主要是從HBase應用程序設計與開發的角度,總結幾種常用的性能優化方法。有關HBase系統配置級別的優化,可參考:淘寶Ken Wu同學的博客。 下面是本文總結的第三部分內容:讀表操作相關的優化方法。 3. 讀表操作 3.1 多

原创 Storm實戰常見問題及解決方案

該文檔爲實實在在的原創文檔,轉載請註明: http://blog.sina.com.cn/s/blog_8c243ea30101k0k1.html 類型 詳細 備註 該文檔是羣裏幾個朋友在storm實戰中遇到的一些問題,及

原创 HBase性能優化方法總結(四):數據計算

本文主要是從HBase應用程序設計與開發的角度,總結幾種常用的性能優化方法。有關HBase系統配置級別的優化,可參考:淘寶Ken Wu同學的博客。 下面是本文總結的第四部分內容:數據計算相關的優化方法。 4. 數據計算 4.1 服

原创 kafka 操作中

kafka的一些操作命令: 查看所有topic的信息 ./kafka-topics.sh --zookeeper 127.0.0.1/kafka --describe 查看某個topic的信息 ./kafka-topics.sh --z

原创 Solr開發文檔:Solr詳細介紹

Solr 是一種可供企業使用的、基於 Lucene 的搜索服務器,它支持層面搜索、命中醒目顯示和多種輸出格式。在這篇文章中,將介紹 Solr 並展示如何輕鬆地將其表現優異的全文本搜索功能加入到 Web 應用程序中。 開發環境:

原创 linux 機器之間 zssh, rz, sz互相傳輸 ( How to install zssh in Ubuntu 13.10 (Saucy))

zssh 用法是: 像用ssh命令一樣用zssh登錄主機; 在命令輸入狀態中按下ctrl+2(@鍵)進入zssh狀態; $sz 本地文件名 [可選參數-be:二進制方式] 上傳文件完成(我在用時輸出了一些亂碼,但沒影響上傳) 下載是反出

原创 HBase性能優化方法總結(二):寫表操作

本文主要是從HBase應用程序設計與開發的角度,總結幾種常用的性能優化方法。有關HBase系統配置級別的優化,可參考:淘寶Ken Wu同學的博客。 下面是本文總結的第二部分內容:寫表操作相關的優化方法。 2. 寫表操作 2.1 多

原创 HBase條件查詢(多條件查詢)

Author:Pirate Leo myBlog: http://blog.csdn.net/pirateleo/ myEmail: [email protected] 轉載請註明出處,謝謝。 文中可能涉及到的API: H