原创 在MapReduce中連接Hbase數據庫

一、實驗題目 在MapReduce中連接Hbase數據庫 二、實驗目的 編寫一個MapReduce程序，該程序可以處理Hbase中的數據。 在Eclipse上運行該程序。 三、實驗步驟 1.啓動Eclipse，創建Java Project

2018-08-24 23:22:33 3

原创 熟悉Hive 實驗1

實驗題目 探索Hive-熟悉Hive-加載數據到Hive。 實驗要求 編寫HQL查詢語句導入給定文本sample1.txt中的數據到HDFS的一個CSV表stock_data中 然後複製到序列表stock_data2中。 操作步驟 1.創

2018-08-24 23:22:16

原创 在實踐中應用Hadoop MapReduce 實驗1 dictionary

一、實驗題目 編寫MapReduce程序Dictionary。 二、實驗目的 Dictionary遍歷dictionary.txt文件，讀取數據，並把其中的英文詞彙轉化爲法語或意大利語。 文檔格式：每行空格前爲英語，空格後爲法語或意大利

2018-08-24 23:22:14 2

原创 開發MapReduce程序 實驗2

一、實驗題目 開發MapReduce程序 二、實驗要求 WeatherData應用程序是爲分析文本文件、獲得明確結果而編寫的計算程序。 在文本分析過程中，程序分別對（數）值和溫度做了分類和比較。 本次實驗練習，我們將編寫MapReduce

2018-08-24 23:22:04

原创 運行Pig Grunt程序

實驗題目 運行Pig Grunt程序 實驗要求 在Pig Grunt上編寫一個Pig程序，輸入天氣數據，找出最高溫度。 天氣文件爲一個只有散列數據的簡單CSV文件。 這三列分別爲編號、年份以及不同年份對應的溫度記錄。 實驗步驟 1.啓動H

2018-08-24 23:22:04

原创 運行WordCount—程序

一、實驗題目 編寫一個MapReduce程序WordCount 二、實驗目的 該程序能夠計算單詞數以及每個單詞出現的頻率。 三、任務分析 計數很簡單，mapper中將文檔拆成n個單詞，記爲<word,1>的形式，reducer的時候將鍵值

2018-08-24 23:22:00

原创 創建 Oozie 工作流 失敗

實驗題目 創建oozie工作流 實驗目的 使用Oozie工作流調度系統配置工作流，運行和管理Hadoop MapReduce程序。 實驗步驟 1.配置job.properties文件 2.配置管理工作流的workflow.xml文件

2018-08-24 23:22:00

原创 安裝和配置 Oozie

實驗題目 安裝和配置 Oozie 實驗要求 在Linux平臺上安裝和配置Oozie，本文使用ubuntu進行的實驗。 實驗步驟 1.創建名爲Oozie的新的group。 2.添加oozie用戶到oozie group。 3.下載Ooz

2018-08-24 23:21:59

原创 在實踐中應用Hadoop MapReduce 實驗2 以tab space分隔的文本排序

一、實驗題目 編寫MapReduce程序給以tab space分割的文本排序。 二、實驗目的 遍歷整個文本，搜索帶tab space的句子並對它們進行排序。 三、任務分析 同上一個實驗一樣，處理文本，必然要先觀察待處理文檔，由於回車符的表

2018-08-24 23:21:59