原创 hadoop集羣啓動yarn時出現的問題和解決方法
1、問題 使用start-all.sh 啓動hdfs和yarn集羣 ，啓動後發現resourcemanager沒啓動，查看日誌報錯： 2020-06-01 09:42:21,280 INFO org.apache.hadoop.ser
2020-06-01 20:59:58
5
原创 Flink流處理計算平均溫度案例
功能：模擬實時統計，將華氏換算成攝氏度並計算每秒的平均溫度。 1、用於保存SensorReading數據的案例類 SensorReading.scala package io.github.streamingwithflink.uti
2020-05-30 19:23:44
原创 Vertcia高階函數
1、group by 後連接字符串 1）使用Strcat函數（vertica版本9.1以上） select promo_id,public.strcat(deptname) over(partition by promo_id) dep
2020-05-30 19:23:23
原创 Flink的基礎概念
Apache Flink是一個框架和分佈式處理引擎，用於對無界和有界數據流進行有狀態計算。Flink設計爲在所有常見的集羣環境中運行，以內存速度和任何規模執行計算。主要分享Flink時間語義、狀態與檢查點等核心概念
2020-04-29 02:27:21
原创 關於MySQL鎖的幾大問題？
1、對MySQL的鎖瞭解嗎 當數據庫有併發事務的時候，可能會產生數據的不一致，這時候需要一些機制來保證訪問的次序，鎖機制就是這樣的一個機制。 就像酒店的房間，如果大家隨意進出，就會出現多人搶奪同一個房間的情況，而在房間上裝上鎖，申請到鑰匙
2020-04-24 19:55:29
原创 HBase 刷寫與合併機制介紹
HBase 是目前主流的 NoSQL 數據庫，是一個高可靠、高性能、高伸縮的分佈式 KV 存儲系統，本文講解 HBase 兩個核心機制——刷寫（Flush）與合併（Compaction），重點介紹其原理及參數配置
2020-04-22 12:37:56
原创 MapReduce shuffle中快速排序詳解
MapReduce中使用的快速排序在經典的快速排序之上進行了一些列的優化，具體優化處理如下： 由於快速排序的分割基數(基數左邊的數都不大於該基數，而右邊的都不小於該基數)選擇的好壞直接影響快速排序的性能，最壞的情況是劃分過程中是中產生兩
2020-04-05 04:01:39
原创 ZooKeeper原理
1、原理概述 ZooKeeper 的核心是原子廣播機制，這個機制包子了各個server之間的同步。實現這個機制的協議叫做Zab協議。Zab協議有兩種模式，它們分別是恢復模式和廣播模式。 (1) 恢復模式
2020-03-14 12:58:32
原创 MapReduce的shuffle和Spark的shuffle區別
一、MapReduce的shuffle 1、mapShuffle 數據存到hdfs中是以塊進行存儲的，每一個塊對應一個分片，maptask就是從分片中獲取數據的 在某個節點上啓動了mapTask,mapT
2020-02-29 23:16:48
原创 詳解Hive分區和分桶
一、分區 hive表就是hdfs的上的一個目錄 hive表中的數據，其實就是對應了HDFS上的一個目錄下的數據 概念：對hive表的數據做分區管理 創建分區表： create table student_pt
2020-02-22 02:14:51
原创 Kafka 是如何保證數據可靠性和一致性
1、數據可靠性 下面從Producter 往 Broker 發送消息、Topic 分區副本以及 Leader 選舉幾個角度介紹數據的可靠性。 Producer 往 Broker 發送消息 如果我
2020-02-22 02:14:51
原创 Kafka 生產者（Producer）詳解
Producer : 消息生產者，就是向Kafka broker 發消息的客戶端。 下面將從producer的分區策略，數據可靠性保證、Exactly Once、Pro
2020-02-22 02:14:51
原创 Hive常見的面試題
總結下Hive的面試點 Hive可考察的內容有：基本概念、架構、數據類型、數據組織、DDL操作、函數、數據傾斜、SQL優化、數據倉庫。面試數據分析工程師更多會考察DDL操作、函數、數據傾斜、Hive優化、數據倉庫這些知識點。來看看具體問題
2020-02-22 02:14:50
原创 深入理解 spark 的checkpoint 機制
我們應該都很熟悉 checkpoint 這個概念， 就是把內存中的變化刷新到持久存儲，斬斷依賴鏈 在存儲中 checkpoint 是一個很常見的概念， 舉幾個例子： 數據庫 checkpoint 過程中一般把內存中的變化進行持久化到物理頁
2020-02-22 02:14:50
原创 Sublime text3下載、安裝插件以及在安裝中出現的問題解決方法
最近想給sublime text3中更換Python環境，結果出現了一大堆問題，所以決定重新配置了一遍，以下內容都是本人嘗試成功的。 一、sublime text3的下載和安裝 1、下載 可以在官網中下載:
2020-02-22 02:14:50