原创 HBase性能優化方法總結(一):表的設計

本文主要是從HBase應用程序設計與開發的角度,總結幾種常用的性能優化方法。有關HBase系統配置級別的優化,可參考:淘寶Ken Wu同學的博客。 下面是本文總結的第一部分內容:表的設計相關的優化方法。 1. 表的設計 1.1 P

原创 kafka 2.10-8.1.1安裝

1. 解壓安裝包 2. 配置server.properties (線上配置)目錄在 config 下,修改配置信息     修改 broker.id 爲不同的值0 ,1 ,2 ...host.name 設

原创 kafka 監控之Mx4jLoader

接上一篇kafka監控的博文講起,在kafka 源碼kafka/utils中有Mx4jLoader.scala源碼,源碼註釋功能如下: ? 1 2 3 4 5 6 7 8 9 /**  * I

原创 zookeeper代碼解析

zookeeper代碼解析 ZooKeeper是近期比較熱門的一個類Paxos實現。也是一個逐漸得到廣泛應用的開源的分佈式鎖服務實現。被認爲是Chubby的開源版,雖然具體實現有很多差異。ZooKeeper概要的介紹可以看官方文檔

原创 使用zssh遠程傳送文件

zssh的全名叫ZMODEM SSH.看名字就知道,使用的zmodem,我們習慣了SecureCRT,直接就可以用來發送文件,比使用scp方便很多。 zmodem協議方便主要表示在以下點 其一,不需要輸入很長的命令和密碼,直接使用r

原创 Hadoop web編程--REST API

1 介紹     Hadoop提供了一個Java native API來支持對文件系統進行創建,重命名,刪除文件或者目錄,打開讀取或者寫文件,設置文件權限等操作。這對於運行在hadoop集羣中的應用程序來說是挺棒的,但是,也有許多外部的

原创 linux下iftop安裝使用

 在類linux系統中可以使用top查看系統資源、進程、內存佔用等信息。查看網絡狀態可以使用netstat、nmap等工具。若要查看實時的網絡流量,監控TCP/IP連接等,則可以使用iftop. 一、iftop是什麼? iftop是類似於

原创 Kafka剖析(一):Kafka背景及架構介紹

Kafka是由LinkedIn開發的一個分佈式的消息系統,使用Scala編寫,它以可水平擴展和高吞吐率而被廣泛使用。目前越來越多的開源分佈式處理系統如Cloudera、Apache Storm、Spark都支持與Kafka集成。Info

原创 Linux流量監控工具 - iftop (最全面的iftop教程)

在類Unix系統中可以使用top查看系統資源、進程、內存佔用等信息。查看網絡狀態可以使用netstat、nmap等工具。若要查看實時的網絡流量,監控TCP/IP連接等,則可以使用iftop。 一、iftop是什麼? iftop是類似