原创 HashMap的底層運作和源碼解析---把最珍貴的源碼理解分享出來
HashMap的底層運作和源碼解析 哈希的定義： 任意長度的輸入通過散列算法變換成固定長度的輸出，該輸出就是散列值（又稱哈希值） 哈希的作用： 哈希的作用在數據結構和密碼學中，發揮的作用不盡相同。 今天我們主要去了解數據結構中
2020-06-22 23:33:18
原创 簡單工廠----工廠方法----抽象工廠模式（JAVA)(區別，優缺，如何使用）---不會還有人不會用工廠把？？
文章目錄簡單工廠UML圖如下：優點：工廠方法模式UML圖如下：簡單工廠 VS 工廠方法產品等級結構:產品等級結構即產品的繼承結構產品族：同一個工廠生產的，位於不同產品等級結構中的一組產品抽象工廠UML圖①前提：具體工廠是抽取產品等
2020-06-22 23:33:18
原创 Hive系列（五）客戶需求千變萬化。。我都暈了---sql行轉列與列轉行總結（Hive版）
文章目錄sql列轉行：sql行轉列： sql列轉行： 核心思想：列值轉列名：往往列值是幾個類別不是數值型 核心方法：case…when… | collect_list(列名) 案例一： 將上圖列值將其轉化爲下圖列名
2020-06-22 23:33:18
原创 Hive系列（三）Hive分區後數據仍劃分不均？？Hive分桶教你怎麼解決
文章目錄Hive分桶：-Buckets一：爲什麼要分桶？：--對數據的垂直切分解決方案二：分桶有什麼用？：三：分桶遵循什麼原理？四：怎麼分桶？：第一步：創建分桶表：第二步：設置分桶規則：第三步：必須用insert方式加載數據：(除
2020-06-22 23:33:18
原创 Hive系列（四）聽說Hive分區能提高查找效率？？快來試試-----各種姿勢導表
文章目錄一：Hive分區簡介：分區的方式：分區的作用：分區的配置：二：分區的具體過程：創建分區：設置分區：向分區插入數據： 一：Hive分區簡介： 分區的方式： 動態分區 靜態分區 分區的作用： 分區主要用於提高性能 沒有分
2020-06-22 23:33:18
原创 Zeepelin系列（一）Zeepelin安裝和配置以及對Hive的基本使用
文章目錄Zeppelin安裝：第一步：上傳linux第二步：修改配置文件第三步：配置hive解釋器第四步：web界面配置集成HiveZeppelin使用：使用Hive解釋器： Zeppelin安裝： 第一步：上傳linux 將t
2020-06-16 08:50:41
1
原创 Hive：窗口函數(轉載)
簡介 本文主要介紹hive中的窗口函數.hive中的窗口函數和sql中的窗口函數相類似,都是用來做一些數據分析類的工作,一般用於olap分析（在線分析處理）。 概念 我們都知道在sql中有一類函數叫做聚合函數,例如sum()、a
2020-06-16 01:36:08
原创 Hive系列（二）Hive的基本原理與操作--全的不行！！！
文章目錄一：Hive的基本架構原理：1．用戶接口：Client2．元數據：Metastore3．Hadoop4．驅動器：Driver二：Hive的作用和優勢：基於Hadoop的數據倉庫解決方案優勢：缺點：三：Hive的數據類型：四
2020-06-13 00:56:51
原创 Hive系列（一）Hive的安裝與配置--全的不行！！
文章目錄Hive安裝：第一步:安裝壓縮包第二步:配置zookeeper第三步:配置hive第四步:啓動HDFS--ZooKeeper--Hive第五步:啓動Hive黑界面 Hive安裝： PS：所有文中涉及到的安裝包，請到鏈接中自
2020-06-13 00:56:51
原创 Hadoop系列（二 ) HDFS原理分析史上最詳細，能和麪試官吹半個小時
@[TOC] HDFS架構： NameNode（NN）： 管理文件系統的namespace/元數據 一個HDFS集羣只有一個Active的NN 說白了就是管理文件的目錄 它保存了兩個核心的數據結構: Fslmage和EditLog F
2020-06-11 08:30:55
原创 linux公私鑰,配置集羣環境與無密登錄
生成公私鑰，公鑰可以理解爲鑰匙（公鑰認證）也可以理解爲鎖（公鑰加密），私鑰可以理解爲鎖 使用rsa加密算法，密碼爲空（不輸入密碼登錄） ssh-keygen -t rsa -P '' 遠程拷貝cd linux scp命令 scp
2020-06-11 08:30:55
原创 JAVA鎖系列（一）----syschronized鎖的優化---看完再也不怕面試問到鎖升級了！
文章目錄Monitor對象：鎖機制的底層同步工具-----monitorsyschronized鎖升級得完整過程：一：無鎖狀態：二：偏向鎖狀態：三：輕量級鎖---自旋鎖狀態：四：重量級鎖狀態：引申概念：鎖粗化：鎖消除： Monit
2020-06-11 08:30:55
原创 Spring-boot搭建elk環境以及對數據流程完整展示
ELK的數據處理流程： 第一步：產生日誌數據 spring-boot項目基本配置： 新建spring-boot項目2.1.14，勾選好下圖兩個依賴，開始新建項目 導入guava依賴 <dependency> <groupId
2020-06-11 08:30:55
原创 線程模擬用戶和服務器----模擬生成大量埋點日誌數據
文章目錄模擬用戶和服務器的埋點日誌：模擬瀏覽器的日誌信息：模擬服務器的日誌信息：用線程模擬用戶的行爲：產生埋點日誌： 模擬用戶和服務器的埋點日誌： 需要在model層寫兩個分別爲用戶和服務器的埋點日誌信息實體類封裝日誌信心，以此來
2020-06-11 08:30:55
原创 logstash對埋點日誌進行整理並傳輸到ES---以及在linux下安裝
Logstash埋點日誌整理： 上一篇文章，我們將埋點日誌自動生成，後來我把代碼稍作修改，將服務器和用戶的日誌進行分別輸出到各自的文件中。 然後我們需要使用logstash將從各種地方得到的不同的文件格式進行整理建表，最後輸送到E
2020-06-11 08:30:55