最近在自學Spark,看了一些書籍和視頻,總是感覺無從下手。拿着一個想法總是無從下手。追其原因,主要是沒有系統的學習和使用。對於IT,一切新技術都需要不斷實踐、不斷動手。本着動手的原則,本人通過各種渠道找到一個電商用戶行爲分析平臺,準備從頭開始,跟着視頻及文檔從頭完做起,直到完成該項目。
該系列博客主要記錄自己的學習過程,順帶着當作筆記以供後續參考。如果有朋友看到該博客,覺得可以借鑑一些東西,也算是本人額外的收穫。
本文主要介紹自己使用的軟硬件情況。本人電腦16G內存,但是CPU是節能CPU,性能略差。具體環境如下:
- 測試環境,由3臺虛機(Vmware),每臺內存3G
- 操作系統:Centos7
- 軟件:
a、jdk1.7
b、hadoop-2.5.0-cdh5.3.6
c、hive-0.13.1-cdh5.3.6.tar
d、scala-2.11.4
e、zookeeper-3.4.5-cdh5.3.6
f、kafka_2.9.2-0.8.1
g、flume-ng-1.5.0-cdh5.3.6
h、spark-1.5.1-bin-hadoop2.4
後續將陸續更新自己學習筆記,搭建部分只是按照先後順序做了簡單記錄,如果大家有什麼疑問,可以留言溝通或者直接百度。
再次申明,該系列只是本人學習過程記錄,如果給大家造成什麼困擾,請大家多多擔待。