原创 牛客數據庫SQL實戰 41-50（數據替換replace(字段,oldval,newval)、添加主鍵、獲取兩表交集intersect、獲取字符串長度length(str)）
文章目錄41 刪除emp_no重複的記錄，只保留最小的id對應的記錄41.1 題目描述41.2 題解42 將所有to_date爲9999-01-01的全部更新爲NULL42.1 題目描述42.2 題解43* 將id=5以及emp_
2020-05-13 18:12:42
原创 數據倉庫 — 07_Kafka的安裝與部署（Kafka命令行操作指令、Kafka集羣羣起腳本、壓力測試、節點數量計算）
文章目錄1 Kafka的安裝與配置2 Kafka命令行操作2.1 查看當前服務器中的所有topic2.2 創建topic2.3 刪除topic2.4 發送消息2.5 消費消息2.6 查看某個topic的詳情3 Kafka羣起腳本4
2020-05-13 18:12:42
原创 數據倉庫 — 06_Flume的安裝與部署（Flume組成框架、Agent內部原理、安裝配置、日誌採集配置文件、攔截器的編寫、Flume羣起腳本、Flume啓動報錯解決）
文章目錄1 概述1.1 Flume定義1.2 Flume組成架構1.2.1 Agent1.2.2 Source1.2.3 Channel1.2.4 Sink1.2.5 Event1.3 Flume拓撲結構1.3.1 Agent連接
2020-05-13 18:12:42
原创 牛客數據庫SQL實戰 31-40（explain查看執行計劃、concat字符串拼接、insert ignore/replace、創建索引、創建視圖、強制索引FORCE INDEX、構造觸發器）
文章目錄31 獲取select * from employees對應的執行計劃31.1 題目描述31.2 題解 explain32 將employees表的所有員工的last_name和first_name拼接起來作爲Name32
2020-05-13 18:12:32
原创 牛客數據庫SQL實戰 21-30（23_27_表的複用）
文章目錄21 查找所有員工自入職以來的薪水漲幅情況21.1 題目描述21.2 題解22 統計各個部門的工資記錄數22.1 題目描述22.2 題解23* 對所有員工的薪水按照salary進行按照1-N的排名23.1 題目描述23.2
2020-05-11 17:22:54
原创 牛客數據庫SQL實戰 1-20（distinct/group by去重、limit 1,1的使用、select的運算）
文章目錄3 查找當前薪水詳情以及部門編號dept_no3.1 題目描述3.2 題解6 查找所有員工入職時候的薪水情況6.1 題目描述6.2 題解7 查找薪水漲幅超過15次的員工號emp_no以及其對應的漲幅次數t7.1 題目描述7
2020-05-10 17:04:43
原创 數據倉庫 — 05_日誌生成（日誌生成jar包的部署、腳本的編寫_啓動_時間同步_進程查看）
文章目錄1 日誌生成1.1 日誌啓動1.2 集羣日誌生成啓動腳本1.3 集羣時間同步修改腳本（臨時）1.4 集羣所有進程查看腳本 歡迎訪問筆者個人技術博客：http://rukihuang.xyz/ 學習視頻來源於尚硅谷，視頻鏈接
2020-05-07 16:48:03
原创 數據倉庫 — 04_Zookeeper的安裝與配置（Zookeeper簡介與應用場景、安裝與部署、登陸Shell與非登錄Shell環境變量的加載區別）
文章目錄1 Zookeeper概述1.1 簡介1.2 特點1.3 數據結構1.4 應用場景1.4.1 統一命名服務1.4.2 統一配置管理1.4.3 統一集羣管理1.4.4 服務器動態上限1.4.5 軟負載均衡2 Zookeepe
2020-05-06 16:29:07
原创 數據倉庫 — 03_Hadoop的安裝（集羣配置、免密登陸、rsync遠程同步工具）
文章目錄1 安裝hadoop1.1 將hadoop導入到/opt/software中1.2 安裝hadoop1.3 添加hadoop環境變量1.4 hadoop的目錄結構2 hadoop集羣配置2.1 集羣配置2.1.2 集羣部署
2020-05-03 15:53:41
原创 數據倉庫 — 02_虛擬機環境準備（設置靜態ip、安裝JDK）
文章目錄1 Hadoop運行環境搭建1.1 修改虛擬機的靜態ip並克隆1.2 修改主機名1.3 關閉防火牆1.4 創建用戶1.5 修改hosts1.6 配置ruki用戶，使其具有root權限1.7 在/opt目錄下創建文件夾2 安
2020-04-27 14:47:08
原创 中間件 — Apache POI & EasyExcel（POI讀寫03和07版本excel、EasyExcel讀寫07版本excel）
文章目錄1 Apache POI1.1 POI簡介1.2 基本結構1.3 POI操作Excel1.3.0 導入依賴1.3.1 POI-寫1.3.1.1 03版本xls1.3.1.2 07版本xlsx1.3.1.3 03版本寫入大文
2020-04-24 14:28:20
原创 數據倉庫 — 01_項目需求分析與技術選型（數倉概念、項目需求及架構設計、數據生成模塊格式要求）
文章目錄1 數據倉庫的概念2 項目需求分析3 項目框架3.1 技術選型3.2 系統數據流程設計3.3 框架版本選型3.4 服務器選型3.5 集羣資源規劃設計3.5.1 集羣規模計算3.5.2 本地測試集羣服務器規劃4 數據生成4.
2020-04-24 14:28:10
原创 大數據框架 — Flink_01（簡介、數據處理架構、Flink與Spark的不同、Flink分層API簡介）
文章目錄1 Flink簡介2 爲什麼選擇Flink3 數據處理架構3.1 傳統數據處理架構3.1.1 事務處理3.1.2 分析處理3.2 流處理3.2.1 有狀態的流式處理3.2.2 事件驅動3.2.3 流vs批3.2.4 Fli
2020-04-03 06:31:27
原创 分佈式文件系統 — FastDFS(FastDFS簡單安裝配置_同一臺機器測試、上傳文件測試)
文章目錄0 準備1 FastDFS安裝1.1 下載地址1.2 安裝環境1.2.1 安裝gcc1.2.2 安裝libevent1.2.3 安裝libfastcommon注意1.3 tracker的安裝與配置1.3.1 安裝1.3.2
2020-02-25 23:41:22
原创 全文檢索 — ElasticSearch_05（映射字段類型type、RestHighLevelClient_增刪改查JavaAPI）
文章目錄1. 映射1.1 字段類型（type）1.1.1 字符串1.1.1.1 text1.1.1.2 keyword1.1.2 date日期類型1.1.3 數值類型2 索引管理2.1 搭建工程2.1.1 ES客戶端2.1.2 配
2020-02-25 23:41:22