原创 Hive特殊的數據類型：Array，Map，Struct
1、Array #創建一張包含array字段的表，array字段的分割符采用的是逗號 create table hive_array( name string, work_locations array<string> ) ROW
2020-07-06 17:07:03
2
原创 Kafka之Offset管理標記和尋址、消費模式、參數調優
文章目錄1、Offset如何標記數據2、Offset如何尋址3、消費模式4、參數調優 1、Offset如何標記數據 每個分區的offset都是從1開始標記的 每個分區將數據切分成segment（段），每個段由log和index兩份
2020-07-06 17:06:52
原创 Kafka入門介紹、安裝部署
文章目錄1、前言2、Kafka基本概念3、Kafka安裝3.1 安裝Zookeeper3.2 安裝Kafka3.3 Kafka啓動、測試 1、前言 本章節使用的是Apache Kafka，版本：kafka_2.11-2.1.0.t
2020-07-06 17:06:51
1
原创 Flume多Agent串聯，單Source多Chanel/Sink使用、單Source到HDFS和Kafka
文章目錄1、兩個Agent串聯2、單Source多Chanel/Sink3、單Source到HDFS和Kafka 1、兩個Agent串聯 串聯的Agent中間要採用Avro Sink和 Avro Source方式進行數據傳輸 案
2020-07-06 16:29:29
1
原创 Hive之DDL詳解
官網：http://hive.apache.org 1、Hive的DDL 對於DML語言，我們不講，因爲實際工作Hive1.x版本 DML性能太差，基本是用Spark實現；雖然現在Hive2.x支持Spark引擎，但是使用的人還
2020-07-06 16:29:29
4
原创 SparkSQL外部數據源/Data Sources
文章目錄1、Data Sources2、讀取Json文件3、讀取Parquet數據4、讀取Hive中的數據5、讀取MySQL中的數據 1、Data Sources Spark SQL支持通過DataFrame接口對各種數據源進行操
2020-07-06 16:29:29
原创 Hive常見的存儲文件格式
轉載 https://blog.csdn.net/qq_32641659/article/details/89339143 1、Hive常見的文件格式 SEQUENCEFILE：生產中絕對不會用，k-v格式，比源文本格式佔用磁盤
2020-07-06 16:29:19
原创 Flink入門介紹和安裝部署、第一個Flink程序WC
文章目錄1、Flink介紹1.1 Flink是什麼1.2 Flink部署在什麼地方1.3 Flink編程模型1.4 程序和數據流2、Flink搭建3、Maven依賴，寫第一個Flink程序WC 1、Flink介紹 1.1 Flin
2020-07-06 16:29:19
原创 Flink自定義Source：SourceFunction、ParallelSourceFunction、RichParallelSourceFunction
我們這裏講這三類自定義Source SourceFunction、ParallelSourceFunction、RichParallelSourceFunction 先定義一個Class類，分別集成上面三個接口，實現裏面方法 pa
2019-08-25 13:59:39
26
原创 JVM堆內存詳解、常用參數，GC算法、GC收集器
原文鏈接：https://blog.51cto.com/lizhenliang/2164876?wx= 文章目錄1、堆內存詳解1.1 JVM內存模型1.2 分代概念2、JVM堆內存常用參
2019-08-25 13:59:39
原创 JVM參數類型、jinfo/PrintFlags、Xmx/Xms/Xss、內存模型
文章目錄1、JVM介紹2、jinfo/PrintFlags2.1 jinfo2.2 PrintFlags3、幾個特殊的參數4、JVM運行時數據區(Run-Time Data Areas)5、JVM內存模型 1、JVM介紹 官網文檔
2019-08-25 13:59:39
7
原创 Azkaban安裝和簡單使用
文章目錄1、Azkaban介紹和安裝1.1 介紹1.2 下載安裝包1.3 配置和編譯1.4 配置Azkaban1.5 Web登陸Azkaban2、Azkaban簡單操作2.1 編輯兩個文件2.2 創建項目和上傳zip包2.3 Jo
2019-08-25 13:59:39
原创 ZooKeeper基本操作
安裝Zookeeper https://blog.csdn.net/greenplum_xiaofan/article/details/99020516#31_Zookeeper_40 1、ZK的數據模型 1） 樹形結構： /
2019-08-25 13:59:39
原创 JVM高併發、JMM模型
1、JMM模型 Java內存模型 JMM 就是爲了解決多線程場景下併發問題的一個重要規範 CPU 和緩存的一致性問題 CPU 執行應用程序 SparkApp，僅僅只負責執行 Data：在計算的物理內存裏面 他們是處在不同的地方，
2019-08-25 13:59:39
原创 JVM查看字節碼信息、GC及分類
1、字節碼信息 代碼執行流程 package com.ruozedata.jvm; public class JvmDemo { public static void main(String[] args) throw
2019-08-25 13:59:39