原创 mapreduce任務執行過程詳細分析--源碼級分析

本人適合對mapreduce有一定經驗人來閱讀,對於新手來講,只是閱讀前面會有收穫不少,但是到了後面就會有些看不懂,可以簡單瞭解。如果對mapreduce有了半年的編程經驗並且善於思考,或許這是一篇不錯的文章。問題導讀:1.mapredu

原创 全面瞭解hbase包括概念、原理等介紹

1.hbase全拼是什麼? 2.哪一個接口,利用Thrift序列化技術,支持C++,PHP,Python等多種語言,適合其他異構系統在線訪問? 3.哪一個接口,支持REST 風格的Http API訪問HBase, 解除了語言限制? 4.

原创 java反射詳解 二

java反射詳解 2011-09-02 14:16 by Rollen Holt, 269247 閱讀, 100 評論, 收藏, 編輯 本篇文章依舊採用小例子來說明,因爲我始終覺的,案例驅動是最好的,要不然只看理論的話,看了也不懂,不

原创 DataOutputStream&DataInputStream ByteArrayOutputStream ByteArrayInputStream的作用

綜合DataOutputStream&DataInputStream的作用和功能,與ByteArrayOutputStream和ByteArrayInputSream使用將更方便.此時DataOutputStream&DataInput

原创 Java IO

原文:http://blog.csdn.net/aaaaaaaa0705/article/details/6732893 (1) 題目:給出一個整數數組,將其寫入一個文件,再從文件中讀出,並按整數大小逆序打印。 這道面

原创 用 Ganglia 監控基於 Biginsights 的 HBase 集羣性能

問題導讀 1.BigInsights和HBase的區別有哪些? 2.Ganglia如何部署?        序言 隨着數據爆發式增長時代的來臨,各種雲計算平臺也不斷的被推廣出來。IBM 開發了 BigInsights 雲計

原创 Hive四種數據導入方式介紹

about雲openstack零基礎部署開發入門購買活動 <iframe id="cproIframe_u1728839_2" width="120" height="240" src="http://pos.baidu.com

原创 多面編程語言Scala

allowtransparency="true" frameborder="0" scrolling="no" src="http://hits.sinajs.cn/A1/weiboshare.html?url=http%3A%2F%

原创 在重寫了對象的equals方法後,還需要重寫hashCode方法嗎?

首先說建議的情況:  比如你的對象想放到Set集合或者是想作爲Map的key時(非散列的Set和Map,例如TreeSet,TreeMap等),那麼你必須重寫equals()方法,這樣才能保證唯一性。當然,在這種情況下,你不想重寫has

原创 關於hashCode方法的作用

有許多人學了很長時間的Java,但一直不明白hashCode方法的作用, 我來解釋一下吧。首先,想要明白hashCode的作用,你必須要先知道Java中的集合。   總的來說,Java中的集合(Collection)有兩類,一類是List

原创 HIVE 動態分區與靜態分區

HIVE分區,實際上是通過一個路徑來標識的,而不是在物理數據中。比如每天的數據,可能分區是pt=20121023這樣,那麼路徑中它就會變成:/hdfs/path/pt=20121023/data_files。通過路徑來標識的好處是,如果我

原创 [Hadoop源碼詳解]之一MapReduce篇之InputFormat

小站博文地址:[Hadoop源碼詳解]之一MapReduce篇之InputFormat 1. 概述 我們在設置MapReduce輸入格式的時候,會調用這樣一條語句: 1 job.setInputFo

原创 MapReduce之計數器及實例

MapReduce之計數器及實例 http://www.aboutyun.com/thread-13745-1-1.html 感興趣的直接點上面鏈接,會有更詳細的解析 問題導讀 1.hadoop有哪些

原创 Spark讀寫和Lost Excutor錯誤的分析和解決過程

Spark讀寫和Lost Excutor錯誤的分析和解決過程 http://www.aboutyun.com/thread-15842-1-1.html 問題導讀 1.大規模數據往HDFS中寫

原创 hadoop MapReduce - 從作業、任務(task)、管理員角度調優

hadoop MapReduce - 從作業、任務(task)、管理員角度調優 http://www.aboutyun.com/thread-10557-1-1.html 問題導讀1.Combiner的作