台部落em_aaron

原创大數據教程（9.5）用MR實現sql中的jion邏輯

上一篇博客講解了使用jar -jar的方式來運行提交MR程序，以及通過修改YarnRunner的源碼來實現MR的windows開發環境提交到集羣的方式。本篇博主將分享sql中常見的join操作。一、需求

2018-12-11 09:10:21

1

原创大數據教程（9.4）用java -jar的方式運行mr程序

上一篇博客分享了mapreduce在yarn上的運行流程，本篇博主將分享 1.如何使用:jar -jar的方式運行mr程序、2.如何在本地提交mapreduce程序到集羣上去運行；一、使用:jar -jar

2018-12-09 09:10:29

原创大數據教程（9.3）MR運行在yarn集羣流程分析&&本地模式調試MR程序_

mapreduce在yarn集羣中流程分析：在windows本地環境的調試需要先安裝好windows環境，具體請看windows安裝篇；最後寄語，以上是博主本次文章的全部內容，如果大家覺得

2018-12-08 21:10:52

原创大數據教程（8.8）MR內部的shuffle過程詳解&combiner的運行機制及代碼實現

之前的文章已經簡單介紹過mapreduce的運作流程，不過其內部的shuffle過程並未深入講解；本篇博客將分享shuffle的全過程。一、mapreduce運作流程長卷圖（其中[深]硃紅色代表是可以用戶自

2018-12-05 09:10:29

1

原创 mysql只讀用戶創建原

#創建只查詢用戶 create user bwx IDENTIFIED by 'BwCHeryx123@9!'; grant select on chery_wcc.* to bwx; flush privileges ;

2018-12-02 21:10:48

原创大數據教程（8.2）wordcount程序原理及代碼實現/運行原

上一篇博客分享了mapreduce的編程思想，本節博主將帶小夥伴們瞭解wordcount程序的原理和代碼實現/運行細節。通過本節可以對mapreduce程序有一個大概的認識，其實hadoop中的map、reduce程序只是其

2018-12-02 21:09:57

原创大數據教程（8.4）移動流量分析案例原

前面分享了使用mapreduce做wordcount單詞統計的實現與原理。本篇博主將繼續分享一個移動流量分析的經典案例，來幫助在實際工作中理解和使用hadoop平臺。一、需求以下是

2018-12-02 21:09:57

3

原创大數據教程（7.4）HDFS的java客戶端API（流處理方式）原

博主上一篇博客分享了namenode和datanode的工作原理，本章節將繼前面的HDFS的java客戶端簡單API後深度講述HDFS流處理API。場景：博主前面的文章介紹過HDFS上存的大文件會成不同的塊

2018-12-02 21:09:57

原创大數據教程（7.5）hadoop中內置rpc框架的使用教程原

博主上一篇博客分享了hadoop客戶端java API的使用，本章節帶領小夥伴們一起來體驗下hadoop的內置rpc框架。首先，由於hadoop的內置rpc框架的設計目的是爲了內部的組件提供rpc訪問的功能，並不是作爲專業

2018-12-02 21:09:57

原创 ecllipse/sts如何設置爲new對象自動生成local變量的快捷鍵原

本篇文章，博主跟大家分享一個快速爲java新建對象生成local變量的快捷方式，該方式可以大大的提高開發效率，博主用的非常的爽。第一步，windows->preferences-Keys，打開快捷鍵編輯地方，找到如下圖這行第二步、修改

2018-12-02 21:09:57

原创大數據教程（7.1）客戶端向HDFS寫數據流程分析原

上一章爲大家分享了hadoop入門的基礎知識，本章博主將帶領大家一起升入瞭解hadoop的HDFS底層原理以及hadoop內部rpc框架的原理和使用。一、本節目的 HDFS工作機制的學習

2018-12-02 21:09:57

原创數據庫（mysql）業務用戶表批量造測試用戶密碼數據[方案] 原

博主這幾天在配合公司測試做商城商品秒殺場景的壓測，由於秒殺需要登錄，所以需要爲測試創建多個用戶密碼。此項任務可能在今後還會遇到，先做個筆錄。同時，讓小夥伴們需要的時候也可以有個參考。方案一：uuid方式 #

2018-12-02 21:09:57

1

原创大數據教程（9.5）用MR實現sql中的jion邏輯

原创大數據教程（9.4）用java -jar的方式運行mr程序

原创大數據教程（9.3）MR運行在yarn集羣流程分析&&本地模式調試MR程序_

原创大數據教程（8.8）MR內部的shuffle過程詳解&combiner的運行機制及代碼實現

原创 mysql只讀用戶創建原

原创大數據教程（8.2）wordcount程序原理及代碼實現/運行原

原创大數據教程（8.4）移動流量分析案例原

原创大數據教程（7.4）HDFS的java客戶端API（流處理方式）原

原创大數據教程（7.5）hadoop中內置rpc框架的使用教程原

原创 ecllipse/sts如何設置爲new對象自動生成local變量的快捷鍵原

原创大數據教程（7.1）客戶端向HDFS寫數據流程分析原

原创數據庫（mysql）業務用戶表批量造測試用戶密碼數據[方案] 原

原创大數據教程（8.3）wordcount程序運行過程的解析原

原创大數據教程（7.3）namenode管理元數據的機制&datanode工作機制介紹原

原创大數據教程（7.6）shell腳本定時採集日誌數據到hdfs 原