原创 Hadoop壓縮-SNAPPY算法

本篇文章做了小部分更改,僅介紹了Snappy,去掉了安裝過程,不過不必嘆氣,更加詳細的Hadoop Snappy及HBase Snappy的安裝步驟已經另起了一篇文章專門來介紹:Hadoop HBase 配置 安裝 Snappy 終極

原创 flume搭建調試

Installing CDH3 https://ccp.cloudera.com/display/CDHDOC/CDH3+Installation

原创 用Maven編譯Apache flume-ng 1.5.0源碼及問題解決

在今年的5月22號,Flume-ng 1.5.0版本正式發佈,關於Flume-ng 1.5.0版本的新特性可以參見本博客的《Apache Flume-ng 1.5.0正式發佈》進行了解。關於Apache flume-ng 1.4.

原创 Java正則表達式

正則表達式在處理文本方面用處非常大,最早像在Perl和awk語言中,提供了這種機制,Java在Java 2中也增加了正則表達式這個包java.util.regex。這個包爲用戶使用正則表達式,提供了易用而全面的支持。我的研究方向是web挖

原创 Flume的優化

載自品友互動:http://www.ipinyou.com.cn/technicalnews/201112/Technical_6.html ETL(Extraction, Transformation, and Load)是基於日誌

原创 使用Eclipse Memory Analyzer對Tomcat進行內存分析

測試環境 Java : JDK1.6 Tomcat: Tomcat 5.5 Eclipse Memory Analyzer:EMA 1.2.1(直接去Eclipse下載,無需安裝哈)   獲得Heap Dump文件 Ecli

原创 hbase三維(rowkey、olumn key、timestamp)設計

hbase所謂的三維存儲的三維是指:rowkey(行主鍵),column key(columnFamily+qualifier),timestamp(時間戳)先說rowkey,我們知道rowkey是行的主鍵,而且hbase只能用個rowk

原创 No bean named transactionManager is defined 多數據源的單元測試

spring 相關的配置 Xml代碼   <!--  -->       <bean id="car_dataSource" class="com.mchange.v2.c3p0.ComboPooledDataSource"  

原创 使用 Spring 進行單元測試

轉自http://www.ibm.com/developerworks/cn/java/j-lo-springunitest/index.html?ca=drs- 趙 才文, 技術經理 簡介: 通過本文,您能夠在較短的時間內掌握使

原创 HTable和HTablePool使用注意事項

HTable和HTablePool都是HBase客戶端API的一部分,可以使用它們對HBase表進行CRUD操作。下面結合在項目中的應用情況,對二者使用過程中的注意事項做一下概括總結。 HTable HTable是HBase客戶端與

原创 圖解SQL的inner join、left join、right join、full outer join、union、union all的區別

對於SQL的Join,在學習起來可能是比較亂的。我們知道,SQL的Join語法有很多inner的,有outer的,有left的,有時候,對於Select出來的結果集是什麼樣子有點不是很清楚。Coding Horror上有一篇文章,通過文

原创 jmock2.5基本教程

第0章 概述 現在的dev不是僅僅要寫code而已,UT已經變爲開發中不可缺少的一環。JUnit的出現給javaer的UT編寫提供了巨大的便利。但是JUnit並沒有解決所有的問題。 當我們要測試一個功能點的時候,需要把不需要我們關注的東

原创 spring文件讀取properties文件屬性

在spring的xml文件中增加一行 <bean id="propertyConfigurer" class="org.springframework.beans.factory.config.PropertyPlaceholderCon

原创 Eclipse 問題彙集

問題1描述:eclipse 中使用 svn 插件,原本正常,未作任何更改,今天天突然eclipse 中查看文件時,文件後面的 版本號 、 文件的狀態圖標等等都不見了。 問題解決:Windows ->Preferences->Gen

原创 maven問題集

問題一:Non-resolvable parent POM: Could not find artifact * and 'parent.relativePath' points at wrong local POM @ line *,