原创 Spark原理框架和作業執行流程
@Author : Spinach | GHB @Link : http://blog.csdn.net/bocai8058 文章目錄0 Hadoop與Spark的對比關係1 Spark原理框架1.1 框架1.2 相關術語
2018-10-15 04:08:31
原创 Spark的join實現的3種方式(與Hive中的join對比)
@Author : Spinach | GHB @Link : http://blog.csdn.net/bocai8058 文章目錄1 Spark的join與Hive的join對比1.1 數據準備1.2 Hive的joi
2018-10-15 04:08:31
11
原创 Spark-streaming kafka數據接收兩種方式
@Author : Spinach | GHB @Link : http://blog.csdn.net/bocai8058 文章目錄1 Receiver-based Approach2 Direct Approach (
2018-10-15 04:08:31
1
原创 Spark算子groupbykey與reducebykey區別
@Author : Spinach | GHB @Link : http://blog.csdn.net/bocai8058 文章目錄0 算子reducebykey1 算子groupbykey 0 算子reducebyke
2018-10-15 04:08:31
1
原创 Spark Streaming與Kafka數據一致性
@Author : Spinach | GHB @Link : http://blog.csdn.net/bocai8058 [TOC] 當我們正確地部署好Spark Streaming，我們就可以使用Spark Stre
2018-10-15 04:08:31
3
原创 Hbase熱點問題
@Author : Spinach | GHB @Link : http://blog.csdn.net/bocai8058 文章目錄Hbase結構及rowkeyHbase結構行健RowKey熱點/數據傾斜問題數據傾斜的解
2018-10-10 04:18:39
2
原创 Drop_Delete_Truncat區別(Hive SQL與MySQL對比)
@Author : Spinach | GHB @Link : http://blog.csdn.net/bocai8058 文章目錄不同方面對比deletedroptruncat適用場景Hive中的操作(drop、tru
2018-10-10 04:18:39
12
原创 ZooKeeper在Kafka中的作用
@Author : Spinach | GHB @Link : http://blog.csdn.net/bocai8058 文章目錄Broker註冊Topic註冊生產者負載均衡消費者負載均衡消費分區與消費者的關係消息消費
2018-10-10 04:18:39
原创 ZooKeeper自身數據一致性
@Author : Spinach | GHB @Link : http://blog.csdn.net/bocai8058 文章目錄0 前言1 ZK數據一致性1.1 ZK選舉1.2 ZK原子廣播機制(ZAB協議)1.2.
2018-10-10 04:18:39
2
原创 從kafka中自定義處開始獲取數據
@Author : Spinach | GHB @Link : http://blog.csdn.net/bocai8058 文章目錄從開頭處獲取數據從當前最新獲取數據從上次斷開處獲取數據從指定offset處獲取數據從指定
2018-10-10 04:18:39
原创 Hbase讀寫數據過程詳解(hbase0.96版本之前與hbase0.96版本之後對比)
@Author : Spinach | GHB @Link : http://blog.csdn.net/bocai8058 文章目錄HBase架構圖-ROOT-和.META.結構-ROOT-.META.兩表關係(hbas
2018-10-10 04:18:39
原创 Hash函數及其衝突解決
@Author : Spinach | GHB @Link : http://blog.csdn.net/bocai8058 文章目錄常用的hash函數直接取餘法乘法取整法平方取中法直接尋址法數字分析法摺疊法隨機數法處理衝
2018-10-10 04:18:39
原创 Kafka中多個partition怎麼保證跨區消費是有序的
@Author : Spinach | GHB @Link : http://blog.csdn.net/bocai8058 文章目錄官方說明解決方法 官方說明 這個問題嚴格來說是肯定有的，kafka只能保證分區內的有序
2018-10-10 04:18:38
4
原创 Flume到Kafka且均分到多個partition
@Author : Spinach | GHB @Link : http://blog.csdn.net/bocai8058 文章目錄說明情況解決方法 說明情況 Flume向kafka發佈數據時，發現kafka接收到的數據
2018-10-10 04:18:38
原创 ZooKeeper故障處理
@Author : Spinach | GHB @Link : http://blog.csdn.net/bocai8058 文章目錄Zookeeper一般會出現以下兩種故障Zookeeper故障監控Zookeeper故障
2018-10-10 04:18:38
2