原创 HiveonSpark配置 Maven+spark編譯+Hive配置
一 實驗說明 本實驗主要完成Hvie on Spark的配置，主要內容包含maven配置、編譯spark源碼 spark配置 hive配置，我使用的軟件版本如下表所示。 軟件 版本 hadoop 2.7.7 Hi
2020-06-30 14:20:39
1
原创 Docker基礎入門實戰之Docker安裝
Docker基礎入門——Docker安裝1、虛擬化技術2、什麼是Docker3、Docker架構4、Docker安裝在Linux中安裝DockerWindows中安裝Docker 1、虛擬化技術 虛擬化技術是一個通用的概念，在不同
2020-06-17 16:23:53
原创 互聯網社交好友推薦
互聯網社交好友推薦實現過程實驗步驟1、代碼分析2、創建項目第一步：自定義一個 FriendOfFriend 的輸出類第二步：創建分組類FriendRecommendGroup第三步：創建執行好友推薦的任務類第四步：創建數據切分類第
2019-09-16 08:53:28
原创 Github上的開源工具幫助你實現“十一”回家的願望
原文鏈接：https://blog.csdn.net/BEYONDMA/article/details/100622963 版權聲明：本文爲博主原創文章，遵循 CC 4.0 BY-SA
2019-09-16 08:53:28
6
原创 Docker基礎入門——Docker安裝
Docker基礎入門——Docker安裝1、虛擬化技術2、什麼是Docker3、Docker架構4、Docker安裝在Linux中安裝DockerWindows中安裝Docker 1、虛擬化技術 虛擬化技術是一個通用的概念，在不同
2019-09-16 08:53:28
1
原创 Flume+Kafka+Spark Streaming+MySQL實時數據處理
文章目錄項目背景案例需求一、分析1、日誌分析二、日誌採集第一步、代碼編輯2、啓動採集代碼三、編寫Spark Streaming的代碼第一步 創建工程第二步 選擇創建Scala工程第三步 設置工程名與工程所在路徑和使用的Scala版
2019-09-16 08:53:28
1
原创 Python基礎
Python 基礎需求分析實驗步驟步驟一：Python基礎第一步：打印輸出第二步：基本語法第三步：文件讀寫：open, csv, pandas練習：讀取第一行存爲columns,第二行爲sample第四步：列表練習1：提取第一個樣
2019-09-16 08:53:28
原创 Hadoop環境配置-Ubuntu
一：免密操作 1．生成rsa公鑰 過程中輸入回車即可，執行命令： master@node:~$ ssh-keygen -t rsa • rsa：公鑰加密算法 • ssh-keygen：生成、管理和轉換認證密鑰 • -t：指定密鑰
2019-09-16 08:53:28
1
原创 互聯網日誌用戶行爲分析
互聯網日誌用戶行爲分析項目需求實現步驟第一步：獲取原生數據第二步：數據清洗1、數據清洗目的2、數據清洗方案3、 數據清洗過程AccessLogCleanMapperAccessLogCleanJob 任意
2019-09-16 08:53:27
1
原创 電信手機流量數據分析
電信手機流量數據分析實驗環境一 源數據分析1、數據說明二、實現步驟第一步： 資源準備1、準備數據2、上傳數據第二步：數據清洗1、準備工具包2、編寫Map代碼3、編寫Reduce代碼代碼執行第三步：數據分析1、清洗結果數據到HIve
2019-09-16 08:53:27