原创 電商用戶行爲分析大數據平臺相關係列5-KAFKA安裝
1、Scala安裝 1.1、下載、解壓 1.2、配置環境變量（/etc/profile或者~/.bashrc），環境變量生效 1.3、驗證是否安裝成功 scala -version 1.4、其他服務器安裝 通過scp拷貝scal
2020-06-19 02:00:55
原创 Scala中if使用
從表面上看，Scala中的if語句看起來很像Java中的If語句。執行時首先判斷表達式的值，如果爲true，則執行對應代碼塊。否則進行下一代碼塊判斷。如下： if(2+2 == 5){ println("hello fro
2020-06-19 02:00:55
原创 電商用戶行爲分析大數據平臺相關係列8-數據分析流程
1、離線數據（日誌）分析流程 離線數據分析是一種非實時數據分析，主要是分析日誌、用戶操作歷史或者對已有歷史數據分析。本文將以最常見的日誌分析作爲介紹，其他類似，只是數據收集方式可能不一樣。 1.1、數據來源 數據來源主要依賴於分析
2020-06-19 00:30:43
原创 電商用戶行爲分析大數據平臺相關係列4-ZOOKEEPER安裝
1 zookeeper安裝 1.1、下載、解壓 1.2、配置環境變量（/etc/profile或者~/.bashrc），環境變量生效 1.3、配置zoo.cfg cp zoo_sample.cfg zoo.cfg 修改dataD
2020-06-19 00:30:43
原创 Scala模式匹配-值匹配與簡單類型匹配
在Scala的模式匹配中，可以使用類型、通配符、序列、正則表達式，甚至可以深入獲取對象的狀態。這種對象狀態的獲取遵循一定的協議，也就是對象內部狀態的可見性由該類型的實現來控制，這樣我們就可以獲取暴露的狀態並應用於變量中。對象的獲取
2020-06-19 00:30:41
原创 Scala中的for推導式
for循環與if語句是各個編程語言中最常用的控制結構語句。在Scala中，for循環的特性被成爲for推導式或者for表達式。 1. for循環的普通用法 我們現在以一個基本的for表達式開始，逐漸熟悉for推導式的各種用法：
2020-06-19 00:30:41
原创 電商用戶行爲分析大數據平臺相關係列3-HIVE安裝
1 HIVE安裝 1.1、下載、解壓 1.2、配置環境變量（/etc/profile或者~/.bashrc），環境變量生效 1.3、安裝Mysql 在spark1安裝mysql 下載mysql-connector-java-..
2020-02-24 01:22:37
原创 CountDownLatch
CountDownLatch是在java1.5被引入的，存在於java.util.concurrent包下。CountDownLatch這個類能夠使一個線程等待一定數量（計數器）線程完成各自的工作後再執行後續代碼。例如，應用程序的
2020-02-24 01:22:37
原创 電商用戶行爲分析大數據平臺相關係列6-flume安裝
1、Flume安裝 1.1、下載、解壓 1.2、配置環境變量（/etc/profile或者~/.bashrc），環境變量生效 vim ~/.bashrc ## 環境變量基本與Hadoop，Zookeeper等一致，但是需要注意，
2020-02-24 01:22:37
原创 電商用戶行爲分析大數據平臺相關係列7-spark安裝
1、Spark安裝 1.1、下載、解壓 1.2、配置環境變量（/etc/profile或者~/.bashrc），環境變量生效 1.3、配置spark-env.sh spark-env.sh位於 $SPARK_HOME/conf
2020-02-24 01:22:37
原创 電商用戶行爲分析大數據平臺相關係列2-HADOOP環境搭建
1、HADOOP 1.1 HADOOP安裝 1.1.1、下載、解壓 1.1.2、配置環境變量（/etc/profile或者~/.bashrc），環境變量生效 1.1.3、配置Hadoop文件，並創建對應目錄 修改core-sit
2020-02-24 01:22:37
原创 電商用戶行爲分析大數據平臺相關係列9-用戶訪問session的模塊介紹
1、Session介紹 用戶在電商網站上，通常會有很多的點擊行爲，首頁通常都是進入首頁；然後可能點擊首頁上的一些商品；點擊首頁上的一些品類；也可能隨時在搜索框裏面搜索關鍵詞；還可能將一些商品加入購物車；對購物車中的多個商品下訂單；
2020-02-24 01:22:37
原创 IDEA開發spring mvc 報404錯誤
新單位的開發工具拋棄了eclipse而改用idea，目前發現idea確實比eclipse好用，但是由於不熟悉，也遇到很多坑，最大的坑莫過於spring mvc環境搭建。現簡單記錄，方便記憶。如果可以幫到大家，再好不過，寫的比較簡單
2020-02-24 01:22:37
原创 電商用戶行爲分析大數據平臺相關係列1-環境介紹
最近在自學Spark，看了一些書籍和視頻，總是感覺無從下手。拿着一個想法總是無從下手。追其原因，主要是沒有系統的學習和使用。對於IT，一切新技術都需要不斷實踐、不斷動手。本着動手的原則，本人通過各種渠道找到一個電商用戶行爲分析平臺
2020-02-24 01:22:37
原创 電商用戶行爲分析大數據平臺相關係列10-基礎數據結構分析
數據結構分析主要是分析數據庫表結構，其中包括Hive表以及Mysql表。課程實戰中主要用了以下數據表： - user_visit_action(Hive表)：用戶訪問行爲表 - user_info（Hive表）：用戶基本信息表
2020-02-24 01:22:37