原创 分區太多引起的內存溢出
執行一個hive sql時報了一個下面的錯誤，從錯誤堆棧上來看，是在SQL編譯、解析、優化過程中出的錯，還沒有提交到YARN上執行。 從Utilities.getPartitionDesc這句來看是優化的時候，在讀取分區信息時出現
2020-07-06 23:41:40
1
原创 Hadoop RPC初探
1、各個工具的通訊技術 在分佈式系統中，網絡通訊是底層的基礎模塊，不同的大數據工具使用不同的通訊技術，比如： 組件 通訊技術 Hadoop Hadoop自己封裝了RPC Flink Akka Kafka NI
2020-07-04 13:42:15
原创 Java中的集合：數組、Collection、Map
一、 數組 1. 數組的特點 通常不把數組歸爲集合的一種，暫且不管數組是否屬於集合的爭論。 數組是一種數據結構，它存儲的所有的元素類型必須是一樣的。數組一旦創建後大小就不可以再改變了，但是各個元素值可以改變。 數組和List、Se
2020-06-26 02:45:53
3
原创 【十八掌●基本功篇】第一掌：Java之多線程--2-join、同步、死鎖、等待
這一篇博文是【大數據技術●降龍十八掌】系列文章的其中一篇，點擊查看目錄：大數據技術●降龍十八掌 系列文章： 【十八掌●基本功篇】第一掌：Java之IO 【十八掌●基本功篇】第一掌：Java之多線程–1-一些概念 【十八
2020-06-26 01:34:02
原创 【十八掌●基本功篇】第一掌：Java之多線程--1-一些概念
這一篇博文是【大數據技術●降龍十八掌】系列文章的其中一篇，點擊查看目錄：大數據技術●降龍十八掌 系列文章： 【十八掌●基本功篇】第一掌：Java之IO 【十八掌●基本功篇】第一掌：Java之多線程–1-一些概念 【十八
2020-06-26 01:33:52
原创 MySQL中的B+樹
本文是根據這篇文章做的筆記 -> 終於有篇看的懂的B樹文章了！ MySQL中的索引類型 我們平常創建的MySQL表存儲引擎大部分是InnoDB，存儲引擎的不同決定了數據存儲結構的不同。在InnoDB引擎中創建索引可以選擇的存儲結構
2020-06-26 01:33:52
原创 Flink維表Join實踐
這個文章是根據 【實時數倉篇】基於 Flink 的典型 ETL 場景實現 寫的，對視頻中講解的四種維表Join分別實現了一些Demo。 常見的維表Join方式有四種： 預加載維表 熱存儲維表 廣播維表 Temporal tabl
2020-06-02 06:30:09
原创 【十八掌●基本功篇】第一掌：Java之多線程--鎖
這一篇博文是【大數據技術●降龍十八掌】系列文章的其中一篇，點擊查看目錄：大數據技術●降龍十八掌 synchronized可以實現同步訪問，java.util.concurrent.locks包下的Lock也可以實現同步訪問。
2020-02-20 16:31:58
原创 GitChat·大數據 | 史上最詳細的Hadoop環境搭建
GitChat 作者：鳴宇淳 原文： 史上最詳細的Hadoop環境搭建 關注公衆號：GitChat 技術雜談，一本正經的講技術 【不要錯過文末彩蛋】 前言 Hadoop在大數據技術體系中的地位至關重要，H
2020-02-20 16:31:58
原创 【十八掌●基本功篇】第一掌：Java之String的equals方法
這一篇博文是【大數據技術●降龍十八掌】系列文章的其中一篇，點擊查看目錄：大數據技術●降龍十八掌 1、Java的一個例子 public static void main(String[] arge) { //1
2020-02-20 16:31:58
原创 哈希原理與常見哈希函數
一，什麼是哈希 哈希是將任意長度的數據轉換爲一個數字的過程。這個數字是在一個固定的範圍之內的。 轉換的方法稱爲哈希函數，原值經過哈希函數計算後得到的值稱爲哈希值。 1.哈希特點 (1)一致性：同一個值每次經過同一個哈希函數計算後
2020-02-20 16:31:58
原创 【十八掌●基本功篇】第一掌：Java之多線程--3-線程池
這一篇博文是【大數據技術●降龍十八掌】系列文章的其中一篇，點擊查看目錄：大數據技術●降龍十八掌 系列文章： 【十八掌●基本功篇】第一掌：Java之IO 【十八掌●基本功篇】第一掌：Java之多線程–1-一些概念 【十八
2020-02-20 16:31:58
原创 【十八掌●基本功篇】第一掌：Java之多線程--信號量
這一篇博文是【大數據技術●降龍十八掌】系列文章的其中一篇，點擊查看目錄：大數據技術●降龍十八掌 信號量（Semaphore）是可以定義共享資源的個數，允許多個線程同時使用共享資源，在信號量內部有一個計數器，當有線程訪問資源時候，
2020-02-20 16:31:58
原创 【十八掌●基本功篇】第一掌：Java之HashMap
這一篇博文是【大數據技術●降龍十八掌】系列文章的其中一篇，點擊查看目錄：大數據技術●降龍十八掌 HashMap是經常使用的一個類型，它有一些特點： (1) 鍵值允許爲null。 (2) 是非同步、線程不安全的類 (3) 不
2020-02-20 16:31:58
原创 【十八掌●武功篇】第十六掌：Spark之Scala語法快速概覽
這一篇博文是【大數據技術●降龍十八掌】系列文章的其中一篇，點擊查看目錄：大數據技術●降龍十八掌 系列文章： 【十八掌●武功篇】第十六掌：Spark之Scala安裝和HelloWorld 【十八掌●武功篇】第十六掌：Spark
2020-02-20 16:31:57