原创 MapReduce之日誌清洗與分析
MapReduce之日誌清洗與分析 本文運用的日誌文件如下：需要可以留言 分別爲：訪問者主機名、訪問者IP、訪問時間、訪問資源、訪問狀態（HTTP狀態碼）、本次訪問流量等等 根據要求，我們要將訪問資源號以及訪問流量統計出來，其
2020-05-31 04:40:59
原创 Redis(5.0.7) 安裝與部署（CentOS7）
Redis安裝與部署 一、安裝 Redis 1.下載安裝壓縮包 官網地址：http://download.redis.io/releases/ 網盤鏈接（5.0.7）： 鏈接：https://pan.baidu.com/s/1o
2020-05-26 17:58:46
1
原创 MongoDB之高級命令語句
MongoDB之高級命令語句 一、MongoDB Mapreduce Map-Reduce是一種計算模型，簡單的說就是將大批量的工作（數據）分解（MAP）執行，然後再將結果合併成最終結果（REDUCE）。 MongoDB提供的Ma
2020-05-26 17:58:46
原创 MapReduce之Join多表查詢實現
MapReduce之Join多表查詢實現 0.思路： 1、在map階段注意區分讀取進來的數據所屬哪張表，需做判斷進行區分 2、在reduce階段注意對相同key的value進行處理，分別取出哪些是部門表和員工表的信息 3、編寫Jo
2020-05-23 21:02:34
原创 Hive安裝部署（基於hadoop2.7.3 mysql 8.0）
Hive安裝部署 一.Hive的安裝 1、下載apache-hive-2.3.0-bin.tar.gz 可以自行下載其他版本：http://mirror.bit.edu.cn/apache/hive/ 2.3.0版本鏈接：htt
2020-05-23 21:02:34
原创 idea註冊筆記
idea激活筆記 1.啓動idea 2.先使用免費部分 1）點擊 evaluate for free按鈕，底下的continue按鈕會亮，然後點擊continue 2）之後隨便創建一個項目點擊help找到 edit custom
2020-05-23 21:02:24
原创 MapReduce之自定義分組實現
MapReduce之自定義分組實現 0.概念 說明：分組是一種特殊的比較器，對key做比較，並進行歸併，類似於合併同類項，也類似於SQL中的分組查詢 要求：通過自定義分組比較器實現將emp.csv中的數據按照部門號分成三個
2020-05-23 21:02:24
原创 MapReduce之多輸入
MapReduce之多輸入 0.概念 說明：多輸入指的是數據源有多種格式的數據，比如在一個目錄下有文本類型的和SequenceFile二進制格式的，針對這種場景，需要使用MapReduce來分析數據。 要求：改寫wordcoun
2020-05-23 21:02:24
原创 MongoDB之中級命令語句
MongoDB之中級命令語句 一.MongoDB文檔顯示限制 如果你需要在MongoDB中讀取指定數量的數據記錄，可以使用MongoDB的Limit方法，limit()方法接受一個數字參數，該參數指定從MongoDB中讀取的記錄條
2020-05-21 04:27:23
原创 MongoDB之初級命令語句
MongoDB之初級命令語句 一.MongoDB概念解析 1.術語對比 2.數據類型 二.MongoDB創建數據庫 語法 MongoDB 創建數據庫的語法格式如下： use DATABASE_NAME 如果數據庫不存在，則
2020-05-21 04:27:23
原创 MapReduce之自定義分區
MapReduce之自定義分區 0.概括 要求：按照員工的部門號分爲3個分區 思路： 1、定義一個java類EmpPartitioner，實現Partitioner接口 2、重寫方法getPartition，編寫分區規則 3、只
2020-05-18 04:19:54
原创 MapReduce之字符串排序
MapReduce之字符串排序 自定義一個字符串排序規則，實現字符串與默認的字典順序相反，改寫下wordcount程序 1.依賴 <dependency> <groupId>org.apache.hadoop</groupId>
2020-05-15 03:11:55
原创 MapReduce之基本數據類的排序
MapReduce之基本數據類的排序 0.思路 因在MapReduce中基本數據類型（如int）默認是升序排序的，因此我們只需要寫一個類繼承IntWritable.Comparator，重寫compare方法即可。 1.在pom.
2020-05-15 03:11:55
原创 Mapreduce Java對象排序
Java對象排序 0.思路： 1、定義一個java類，實現Comparable接口 2、重寫方法compare 3、定義測試類，利用集合完成排序 1.依賴 <dependency> <groupId>org.apache.hado
2020-05-15 03:11:55
原创 MapReduce之序列化對象作爲key來進行排序
MapReduce之序列化對象作爲key來進行排序 0.思路： 1、定義一個java類，實現WritableComparable接口 2、重寫方法compare，實現排序規則 3、只需寫Mapper階段，驗證是否按照排序規則進行排
2020-05-15 03:11:55