HIve-知識點記錄

原創 osc_8adtko4d 2021-02-05 09:16

Hive介紹

官網定義：

The Apache Hive ™ data warehouse software facilitates reading, writing, and managing large datasets residing in distributed storage using SQL.

Hive架構：
HIve-知識點記錄

Hive特點： 

 1、Hive通過sql進行數據分析，

 Hive存儲：

 Hive執行過程:

 Hive元數據管理:
發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

對接HiveMetaStore，擁抱開源大數據

本文分享自華爲雲社區《對接HiveMetaStore，擁抱開源大數據》，作者：睡覺是大事。 1. 前言 適用版本：9.1.0及以上 在大數據融合分析時代，面對海量的數據以及各種複雜的查詢，性能是我們使用一款數據處理引擎最重要的考量

原創 2024-04-24 22:33:08

用戶行爲分析模型實踐（四）—— 留存分析模型

作者：vivo 互聯網大數據團隊- Wu Yonggang、Li Xiong 本文是vivo互聯網大數據團隊《用戶行爲分析模型實踐》系列文章第4篇 -留存分析模型。 本文詳細介紹了留存分析模型的概念及基本原理，並

原創 2024-04-19 11:26:00

Hive引擎底層初探

1、什麼是Hive Hive是一個基於Hadoop的數據倉庫工具,用於處理和分析大規模結構化數據。Hive提供了類似SQL的查詢語言(HiveQL)，使得熟悉SQL的用戶能夠查詢數據。Hive將SQL查詢轉換爲MapReduce任務，以在

原創 2024-04-17 11:18:21

探索GaussDB(DWS)湖倉融合：Hudi與元數據打通的深度解析

華爲雲數倉GaussDB(DWS)研發專家高若嶽老師，深入解析GaussDB(DWS)數據倉庫如何與大數據生態快速對接。 隨着智能數據時代的到來，數據量爆發式增長，數據形態呈海量化和多樣化發展，不再是單一的結構化數據。從海量和多樣化的數

原創 2024-04-01 22:33:07

Hive UDTF 接受參數及Redis連接問題

hive-exec-2.7.3版本中最通用的方法，所有的類型都可以接收。 ObjectInspector[] inputIOS; public StructObjectInspector initialize(ObjectInspec

原創 2024-03-28 23:40:23

hive 、spark 、flink之想一想

hive 1：hive是怎麼產生的？ 2：hive的框架是怎麼樣的？ 3：hive 執行流程是什麼？ 4：hive sql是如何把sql語句一步一步到最後執行的？ 5：hive sql任務常用參數調優做過什麼？ spark 6：sp

原創 2024-03-27 01:22:41

從零開始學架構V2-初識架構設計-1

一、架構設計的主要目的 爲了解決軟件系統複雜度帶來的問題 二、複雜性來源 軟件的架構設計是一個非常複雜的過程；基於業務&技術現狀、公司成本、團隊規模、團隊技術能力、近三年業務發展規模預測、技術發展趨勢等條件篩選出合適的技術、編寫多種架構設計

原創 2024-04-25 23:56:25

kafka更新元數據失敗問題研究

現象 kafka-admin-client-thread線程打印: AdminMetadataManager.updateField Metadata update failed: org.apache.kafka.common.error

原創 2024-04-24 23:18:37

得物 ZooKeeper SLA 也可以 99.99%丨最佳實踐

作者：Bruce 背景 今天分享的案例來自於得物技術團隊應用 MSE-ZooKeeper 過程中的最佳實踐。原文得物 ZooKeeper SLA 也可以 99.99% ｜ 得物技術。 ZooKeeper（ZK）是一個誕生於 2007 年的分

原創 2024-04-22 21:12:04

tp5命令行報 [BadFunctionCallException] not support: redis

tp5命令行報 [BadFunctionCallException] not support: redis 芝麻開門2015 於 2018-09-30 18:29:49 發佈 閱讀量1.3w  收藏 1 點贊數 分類專欄： php 版權 p

原創 2024-04-17 00:27:13

【安裝部署】Apache SeaTunnel 和 Web快速安裝詳解

版本說明 由於作者目前接觸當前最新版本爲2.3.4 但是官方提供的web版本未1.0.0，不兼容2.3.4，因此這裏仍然使用2.3.3版本。 可以自定義兼容處理，官方提供了文檔：https://mp.weixin.qq.com/s/Al1V

原創 2024-04-16 12:22:36

dubbo3.0 服務導入導出原理

不管是服務導出還是服務引入，都發生在應用啓動過程中，比如：在啓動類上加上 @EnableDubbo 時，該註解上有一個 @DubboComponentScan 註解，@DubboComponentScan 註解 Import 了一個 D

原創 2024-04-09 23:17:11

技術分享-日誌鏈路追蹤

1.背景簡述 在技術運維過程中，很難從某服務龐雜的日誌中，單獨找尋出某次API調用的全部日誌。 爲提高排查問題的效率，在多個系統及應用內根據 統一的TraceId 查找同一次請求鏈路上的日誌，根據日誌快速定位問題，同時需對業務代碼無侵入，

原創 2024-04-01 11:15:56

在 kubernetes 環境下如何優雅擴縮容 Pulsar

背景 在整個大環境的降本增效的薰陶下，我們也不得不做好應對方案。 根據對線上流量、存儲以及系統資源的佔用，發現我們的 Pulsar 集羣有許多的冗餘，所以考慮進行縮容從而減少資源浪費，最終也能省一些費用。 不過在縮容之前很有必要先聊聊擴容，

原創 2024-03-29 12:22:15

【乾貨】Apache DolphinScheduler2.0升級3.0版本方案

升級背景 因項目需要使用數據質量模塊功能，可以爲數倉提供良好的數據質量監控功能。故要對已有2.0版本升級到3.0版本以上，此次選擇測試了3.0.1 和 3.1.1 兩個版本，對進行同數據等任務調度暫停等操作測試，最後選擇3.0.1 版本 原

原創 2024-03-26 12:04:31