原创 電商平臺分析平臺----需求十:總結
實時計算部分總結 實時計算部分無非是對某一個需求進行統計,整體框架: 1.改變基本數據結構,變爲(key,1L),可以用map或者transform進行改變 2. 累加操作,三種選擇 reduceByKey—適合用於實時更
2020-06-11 02:18:10
原创 電商平臺分析平臺----需求九:實時統計之最近一小時廣告點擊量實時統計
做什麼? 通過Spark Streaming的窗口操作(reduceByKeyAndWindow)實現統計一個小時內每個廣告每分鐘的點擊量 需求解析: 關於reduceByKeyAndWindow的知識詳情看這篇文章 步驟解析
2020-06-11 02:18:10
原创 電商平臺分析平臺(一)--項目需求解析
前言 本篇文章講解的是電商分析平臺中的各個模塊需求,後續的文章還在慢慢更新中 需求總體概述 一 離線數據分析 動作表解析: 通過埋點採集到的用戶行爲數據被存儲在了動作表裏，我們關注用戶的四種行爲，即點擊、搜索、下單、購買，用
2020-05-24 08:55:17
原创 flume--入門概念與配置詳解
目錄 Flume概述 安裝教程 配置文件解析 ------------聲明部分 ------------定義sources部分 ------------定義channels部分 ------------定義sinks部分 ----
2020-05-23 07:17:51
原创 spark(三)--spark-streaming---(Dstream圖文詳解,基於IDEA開發)
前言 這篇文章主要講述了spark幾大核心內置模塊中的spark-streaming(流數據的處理),主要圍繞Dstream的入門,創建,轉化展開,圖文詳解 spark其他核心模塊的系列文章: spark(一)–spark-co
2020-05-21 04:16:12
原创 docker系列(六)--使用dockerFile部署springboot項目
DockerFile概念 dockerFile常用命令: dockerFile部署Springboot - 創建springboot項目,添加maven依賴 <dependencies> <dependenc
2020-05-20 04:22:19
1
原创 docker系列(一)--linux下的docker基本命令
- docker架構 client即用戶,通過命令行發佈命令 daemon,守護進程,在安裝完docker後,就會產生 image和container的關係就像面向對象中類和對象的關係,其中,image對應類,containe
2020-05-20 04:22:19
原创 docker系列(四)--部署tomcat,nginx,redis
- tomcat 拉取鏡像,創建重啓並配置 docker pull tomcat mkdir ~/tomcat cd ~/tomcat docker run -id --name=c_tomcat \ -p 8080:8080
2020-05-20 04:22:19
原创 docker系列(五)--docker鏡像原理
docker鏡像原理 linux操作系統 二docker鏡像原理 可以這樣理解,現在要拉取tomcat鏡像,而tomcat依賴於jdk,所以連jdk一併拉取,但是用戶看到的是一個整體,只知道拉取了tomcat鏡像.像這樣一層一層
2020-05-20 04:22:19
原创 nginx(三)--反向代理以及實列
準備工作 先配置一個tomcat服務器,我這裏使用docker進行配置: docker pull tomcat mkdir ~/tomcat docker run -id --name=tomcat1 -p 8080:8080 -
2020-05-20 04:22:09
原创 mysql select/count()/group/case使用總結
一Gourp by和count(*)搭配 #案例1：查詢每個位置的部門個數 先根據location_id進行分組,再統計該組的個數 SELECT COUNT(*),location_id FROM departments GROU
2020-05-20 04:22:09
原创 nginx系列(一)--基礎概念
一 正向代理 簡單理解:在客戶端和服務器之間有一箇中間代理商,客戶端通過這個中間層,間接訪問服務器 二反向代理 將反向代理服務器和各個服務器節點,現在是看作一個節點,客戶端發送請求到反向代理服務器,由服務器進行服務分發,但是反
2020-05-20 04:22:09
原创 使用docker-compose搭建hadoop僞分佈式,並用springboot進行讀寫訪問
前言 本人初學Hadoop,在不懂得什麼是完全分佈式,什麼是僞分佈式,以及hdfs的具體架構得情況下,就盲目的跟着網上的教程搭建hadoop集羣.最後結果是,環境搭起來了,springboot客戶端卻無法訪問,然後反反覆覆重裝h
2020-05-20 04:22:09
原创 ElasticSearch7.6.x系列教程
系列教程 使用docker安裝es的各個插件 es入門之ik分詞器的使用 es基本概念及基本操作詳解 springboot整合es實現文本高亮索引案列 什麼是ES? 1 ES定義 ES=elaticsearch
2020-05-20 04:22:09
原创 docker教程合集
前提說明 本文章是基於Linux centos系統的,如果你是window,可以: 1 買一個阿里雲ecs 2 用virtualBox在你的電腦上裝一個linux系統 強烈建議買一個ecs,可以少走很多彎路,docker搭配lin
2020-05-20 04:22:09