原创 hadoop-2.4.1 集羣搭建
hadoop2.0已經發布了穩定版本了,增加了很多特性,比如HDFS HA、YARN等。最新的hadoop-2.4.1又增加了YARN HA 注意:apache提供的hadoop-2.4.1的安裝包是在3
原创 Zookeeper入門
一、什麼是Zookeeper? Zookeeper 是 Google 的 Chubby一個開源的實現,是 Hadoop 的分佈式協調服務,它包含一個簡單的原語集,分佈式應用程序可以基於它實現同步服務,配置維護和命名服務等。
原创 Hadoop之MapReduce-自定義排序編程
一、問題描述 根據給出的數據計算每一個賬戶總的收入,總的支出以及總利潤,並按照總利潤由高到低排序,如果總利潤相同,則按照總的支出由低到高排序。 二、數據格式 2.1輸入數據格式 zhangsan
原创 第一題ER圖
ER圖(1)
原创 Hive表
一、Hive運行模式 1.Hive的運行模式即任務的執行環境 2.分爲本地與集羣兩種,我們可以通過mapred.job.tracker 來指明 設置方式:hive > SET mapred.
原创 Hive的UDF
1、UDF函數可以直接應用於select語句,對查詢結構做格式化處理後,再輸出內容。 2、編寫UDF函數的時候需要注意一下幾點: a)自定義UDF需要繼承org.apache.hadoop.hi