原创 hadoop-2.4.1 集羣搭建

hadoop2.0已經發布了穩定版本了,增加了很多特性,比如HDFS HA、YARN等。最新的hadoop-2.4.1又增加了YARN HA 注意:apache提供的hadoop-2.4.1的安裝包是在3

原创 Zookeeper入門

一、什麼是Zookeeper?         Zookeeper 是 Google 的 Chubby一個開源的實現,是 Hadoop 的分佈式協調服務,它包含一個簡單的原語集,分佈式應用程序可以基於它實現同步服務,配置維護和命名服務等。

原创 Hadoop之MapReduce-自定義排序編程

一、問題描述         根據給出的數據計算每一個賬戶總的收入,總的支出以及總利潤,並按照總利潤由高到低排序,如果總利潤相同,則按照總的支出由低到高排序。 二、數據格式        2.1輸入數據格式        zhangsan

原创 第一題ER圖

ER圖(1)

原创 Hive表

一、Hive運行模式        1.Hive的運行模式即任務的執行環境        2.分爲本地與集羣兩種,我們可以通過mapred.job.tracker 來指明          設置方式:hive > SET mapred.

原创 Hive的UDF

1、UDF函數可以直接應用於select語句,對查詢結構做格式化處理後,再輸出內容。 2、編寫UDF函數的時候需要注意一下幾點:      a)自定義UDF需要繼承org.apache.hadoop.hi