原创 【Scala】scala的基本介紹
目錄 介紹 優點 scala與Java執行流程 介紹 scala是運行在JVM上的多範式（多種編程方法）編程語言，同時支持面向對象和麪向函數編程 優點 1.開發大數據應用程序（Spark程序、Flink程序） 2.表達能力強，
2020-05-09 15:28:43
原创 【Scala】scala開發環境的安裝
目錄 安裝JDK 安裝scala SDK 安裝IDEA scala插件 安裝JDK 安裝JDK 1.8 64位版本，並配置好環境變量 安裝scala SDK scala SDK是scala語言的編譯器，要開發scala程序，必
2020-05-09 15:28:43
原创 【Redis】Redis的持久化介紹與操作
目錄 介紹 RDB方案 自動觸發 手動觸發 優點 缺點 AOF方案 優點 缺點 介紹 由於redis是一個內存數據庫，所有的數據都是保存在內存當中的，內存當中的數據極易丟失，所以redis的數據持久化就顯得尤爲重要，在redis當中，
2020-05-09 15:28:42
原创 【kafka】Kafka的JavaAPI操作（Streams API開發 生產者 開發者）
目錄 創建maven工程並添加jar包 生產者代碼 生產者代碼 自定義分區條件 生產者生產數據到kafka集羣，數據到分區的方式 消費者代碼 自動提交offset 手動提交offset 消費完每個分區之後手動提交offset 指定分區數據
2020-05-09 15:28:42
原创 【Yarn】一篇文章帶你熟識Yarn
目錄 介紹 基本架構 ResourceManager NodeManager ApplicationMaster 注意點 介紹 Apache Hadoop YARN （Yet Another Resource Negotiator，另
2020-05-09 15:28:42
原创 【kafka】Kafka的基本介紹
目錄 介紹 kafka的好處 分佈式的發佈與訂閱系統 kafka的主要應用場景 kafka的架構 kafka架構內部細節剖析 kafka主要組件 kafka的log存儲機制 kafka消息不丟失制 介紹 kafka是最初由linked
2020-05-09 15:28:42
1
原创 【Redis】Redis進行java操作
目錄 jar包 連接以及關閉redis客戶端 操作string類型數據 操作hash列表類型數據 操作list類型數據 操作set類型的數據 jar包 <dependencies> <dependency>
2020-05-09 15:28:42
原创 【Scala】類和對象的介紹與使用
目錄 類和對象 創建類和對象 定義和訪問成員變量 使用下劃線初始化成員變量 定義成員方法 訪問修飾符 類的構造器 主構造器 輔助構造器 單例對象 在單例對象中定義成員方法 main方法 實現App Trait來定義入口 伴生對象 priv
2020-05-09 15:28:42
原创 【Redis】Redis中的Sentinel架構介紹與部署
目錄 介紹 三臺機器修改哨兵配置文件 三臺機器啓動哨兵服務 模擬redis故障宕機情況 redis的sentinel模式代碼開發連接 介紹 Sentinel（哨兵）是Redis 的高可用性解決方案：由一個或多個Sentinel 實例
2020-05-09 15:28:42
原创 【Spark Streaming】Spark Streaming案例
目錄 WordCount 需求&準備 代碼 updateStateByKey reduceByKeyAndWindow WordCount 需求&準備 1.首先在linux服務器上安裝nc工具，nc是netcat的簡稱，原本
2020-05-09 15:28:42
原创 【Scala】模式匹配與Option類型
目錄 模式匹配 簡單模式匹配 匹配類型 守衛 匹配樣例類 Option類型 模式匹配 scala中有一個非常強大的模式匹配機制，可以應用在很多場景： 1.switch語句 2.類型查詢 3.使用模式匹配快速獲取數據 簡單模式匹配
2020-05-09 15:28:42
原创 【kafka】Kafka集羣環境搭建
目錄 前提 下載安裝包並上傳解壓 node01服務器修改kafka配置文件 安裝包分發到其他服務器上面去 node02與node03服務器修改配置文件 kafka集羣啓動與停止 前提 安裝jdk，安裝zookeeper並保證zk服務正
2020-05-09 15:28:42
原创 【kafka】Kafka集羣的基本操作
目錄 創建topic（主題） 查看topic（主題）命令 生產者（producer）生產數據 消費者（consumer）消費數據 查看topic的相關信息 增加topic分區數 刪除topic 添加配置 刪除配置 創建topic（主題）
2020-05-09 15:28:42
原创 【kafka】消息隊列介紹
目錄 消息隊列的介紹 Kafka消息隊列 消息隊列的應用場景 消息隊列的兩種模式 點對點模式 發佈/訂閱模式（點對多點） 消息隊列的介紹 消息（Message）：是指在應用之間傳送的數據，消息可以非常簡單，比如只包含文本字符串，也可以
2020-05-09 15:28:42
1
原创 【數據倉庫】緩慢變化維介紹及其解決SCD問題
目錄 介紹 舉例說明 SCD問題的幾種解決方案 保留原始值（不推薦） 改寫屬性值（不推薦） 增加維度新行（推薦） 增加維度新列（不推薦） 添加歷史表（不推薦） 使用拉鍊表保存歷史快照思路 拉鍊表 12月20日商品拉鍊表的數據（全量數據同步
2020-05-07 23:01:07