原创 Hadoop入門進階課程12--Flume介紹與安裝

1 搭建環境 部署節點操作系統爲CentOS,防火牆和SElinux禁用,創建了一個shiyanlou用戶並在系統根目錄下創建/app目錄,用於存放Hadoop等組件運行包。因爲該目錄用於安裝hadoop等組件程序,用戶對shiy

原创 Hadoop入門進階課程3--Hadoop2.X64位環境搭建

【注】該系列課程是應邀實驗樓整理編寫的,這裏需要贊一下實驗樓提供了學習的新方式,可以邊看博客邊上機實驗,課程地址爲 https://www.shiyanlou.com/courses/237 1 搭建環境 部署節點操作系統爲Cen

原创 Hadoop入門進階課程6--MapReduce應用案例

1 環境說明 部署節點操作系統爲CentOS,防火牆和SElinux禁用,創建了一個shiyanlou用戶並在系統根目錄下創建/app目錄,用於存放Hadoop等組件運行包。因爲該目錄用於安裝hadoop等組件程序,用戶對shiy

原创 Hadoop入門進階課程9--Mahout介紹、安裝與應用案例

1 搭建環境 部署節點操作系統爲CentOS,防火牆和SElinux禁用,創建了一個shiyanlou用戶並在系統根目錄下創建/app目錄,用於存放Hadoop等組件運行包。因爲該目錄用於安裝hadoop等組件程序,用戶對shiy

原创 Hadoop入門進階課程5--MapReduce原理及操作

1 環境說明 部署節點操作系統爲CentOS,防火牆和SElinux禁用,創建了一個shiyanlou用戶並在系統根目錄下創建/app目錄,用於存放Hadoop等組件運行包。因爲該目錄用於安裝hadoop等組件程序,用戶對shiy

原创 Hadoop入門進階課程11--Sqoop介紹、安裝與操作

1 搭建環境 部署節點操作系統爲CentOS,防火牆和SElinux禁用,創建了一個shiyanlou用戶並在系統根目錄下創建/app目錄,用於存放Hadoop等組件運行包。因爲該目錄用於安裝hadoop等組件程序,用戶對shiy

原创 Hadoop入門進階課程8--Hive介紹和安裝部署

1 搭建環境 部署節點操作系統爲CentOS,防火牆和SElinux禁用,創建了一個shiyanlou用戶並在系統根目錄下創建/app目錄,用於存放Hadoop等組件運行包。因爲該目錄用於安裝hadoop等組件程序,用戶對shiy

原创 Hadoop入門進階課程1--Hadoop1.X僞分佈式安裝

【注】該系列課程是應邀實驗樓整理編寫的,這裏需要贊一下實驗樓提供了學習的新方式,可以邊看博客邊上機實驗,課程地址爲 https://www.shiyanlou.com/courses/237 1.Hadoop介紹 1.1Hadoo

原创 Hadoop入門進階課程2--Hadoop2.X 64位編譯

【注】該系列課程是應邀實驗樓整理編寫的,這裏需要贊一下實驗樓提供了學習的新方式,可以邊看博客邊上機實驗,課程地址爲 https://www.shiyanlou.com/courses/237 1 編譯Hadoop2.X 64位 1

原创 Hadoop入門進階課程4--HDFS原理及操作

【注】該系列課程是應邀實驗樓整理編寫的,這裏需要贊一下實驗樓提供了學習的新方式,可以邊看博客邊上機實驗,課程地址爲 https://www.shiyanlou.com/courses/237 1 環境說明 部署節點操作系統爲Cen

原创 Hadoop入門進階課程10--HBase介紹、安裝與應用案例

1 搭建環境 部署節點操作系統爲CentOS,防火牆和SElinux禁用,創建了一個shiyanlou用戶並在系統根目錄下創建/app目錄,用於存放Hadoop等組件運行包。因爲該目錄用於安裝hadoop等組件程序,用戶對shiy

原创 Hadoop入門進階課程7--Pig介紹、安裝與應用案例

1 搭建環境 部署節點操作系統爲CentOS,防火牆和SElinux禁用,創建了一個shiyanlou用戶並在系統根目錄下創建/app目錄,用於存放Hadoop等組件運行包。因爲該目錄用於安裝hadoop等組件程序,用戶對shiy

原创 使用SVN+CruiseControl+ANT實現持續集成之一----持續集成概念及CC原理介紹

  使用SVN+CruiseControl+ANT實現持續集成 --持續集成概念及CC原理介紹      在前面的文章中,介紹自己當時所在團隊的處境

原创 Spark入門實戰系列--9.Spark GraphX介紹及實例

【注】該系列文章以及使用到安裝包/測試數據 可以在《傾情大奉送–Spark入門實戰系列》獲取 1、GraphX介紹 1.1 GraphX應用背景 Spark GraphX是一個分佈式圖處理框架,它是基於Spark平臺提供對圖計算和圖挖

原创 傾情大奉送--Spark入門實戰系列

這一兩年Spark技術很火,自己也湊熱鬧,反覆的試驗、研究,有痛苦萬分也有欣喜若狂,抽空把這些整理成文章共享給大家。這個系列基本上圍繞了Spark生態圈進行介紹,從Spark的簡介、編譯、部署,再到編程模型、運行架構,最後介紹其組件Sp