電商用戶行爲分析大數據平臺相關係列1-環境介紹

最近在自學Spark,看了一些書籍和視頻,總是感覺無從下手。拿着一個想法總是無從下手。追其原因,主要是沒有系統的學習和使用。對於IT,一切新技術都需要不斷實踐、不斷動手。本着動手的原則,本人通過各種渠道找到一個電商用戶行爲分析平臺,準備從頭開始,跟着視頻及文檔從頭完做起,直到完成該項目。
該系列博客主要記錄自己的學習過程,順帶着當作筆記以供後續參考。如果有朋友看到該博客,覺得可以借鑑一些東西,也算是本人額外的收穫。
本文主要介紹自己使用的軟硬件情況。本人電腦16G內存,但是CPU是節能CPU,性能略差。具體環境如下:

  1. 測試環境,由3臺虛機(Vmware),每臺內存3G
  2. 操作系統:Centos7
  3. 軟件:
    a、jdk1.7
    b、hadoop-2.5.0-cdh5.3.6
    c、hive-0.13.1-cdh5.3.6.tar
    d、scala-2.11.4
    e、zookeeper-3.4.5-cdh5.3.6
    f、kafka_2.9.2-0.8.1
    g、flume-ng-1.5.0-cdh5.3.6
    h、spark-1.5.1-bin-hadoop2.4

後續將陸續更新自己學習筆記,搭建部分只是按照先後順序做了簡單記錄,如果大家有什麼疑問,可以留言溝通或者直接百度。
再次申明,該系列只是本人學習過程記錄,如果給大家造成什麼困擾,請大家多多擔待。

  1. 電商用戶行爲分析大數據平臺相關係列1-環境介紹
  2. 電商用戶行爲分析大數據平臺相關係列2-HADOOP環境搭建
  3. 電商用戶行爲分析大數據平臺相關係列3-HIVE安裝
  4. 電商用戶行爲分析大數據平臺相關係列4-ZOOKEEPER安裝
  5. 電商用戶行爲分析大數據平臺相關係列5-KAFKA安裝
  6. 電商用戶行爲分析大數據平臺相關係列6-flume安裝
  7. 電商用戶行爲分析大數據平臺相關係列7-spark安裝
  8. 電商用戶行爲分析大數據平臺相關係列8-數據分析流程
  9. 電商用戶行爲分析大數據平臺相關係列9-用戶訪問session的模塊介紹
  10. 電商用戶行爲分析大數據平臺相關係列10-基礎數據結構分析
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章