原创 pyflink的安裝和測試
pyflink安裝 安裝前提：python3.6-3.8 參考：Installation | Apache Flink Python version (3.6, 3.7 or 3.8) is required for PyFlink. Pl
2022-07-07 13:06:47
原创 HDFS存儲目錄分析
一、介紹 HDFS metadata以樹狀結構存儲整個HDFS上的文件和目錄，以及相應的權限、配額和副本因子（replication factor）等。本文基於Hadoop2.6版本介紹HDFS Namenode本地目錄的存儲結構和Data
2022-07-02 13:11:02
原创 磁盤的基本知識和基本命令
一、概述 目的：更加系統的熟悉磁盤和磁盤的基本操作 二、文件系統 2.1、硬盤的構成 從存儲數據的介質上來區分，硬盤可分爲機械硬盤（Hard Disk Drive, HDD）和固態硬盤（Solid State Disk, SSD）
2022-07-02 13:11:02
3
原创 HDFS數據平衡
一、datanode之間的數據平衡 1.1、介紹 Hadoop 分佈式文件系統（Hadoop Distributed FilSystem），簡稱 HDFS，被設計成適合運行在通用硬件上的分佈式文件系統。它和現有的分佈式文件系統有很多的共
2022-07-01 13:07:22
原创 Hdfs存儲策略
一、磁盤選擇策略 1.1、介紹 在HDFS中,所有的數據都是存在各個DataNode上的.而這些DataNode上的數據都是存放於節點機器上的各個目錄中的,而一般每個目錄我們會對應到1個獨立的盤,以便我們把機器的存儲空間基本用上.這麼多的節
2022-06-30 13:07:42
原创 數據中臺(數據資產管理篇)
數據資產管理 聲明：本文歸屬一寸HUI所有。@一寸HUI 在上一篇文章數據中臺(架構篇)中瞭解到了數據中臺的架構，其中我們一個很重要的部分就是要構建數據資產管理，這部分我們就來了解下什麼什麼數據資產，數據資產管理了什麼。 數據資產管理介紹
2022-01-25 13:06:44
原创 數據中臺(安全篇)
聲明：本文歸屬一寸HUI所有。@一寸HUI 在文章數據中臺(架構篇)中瞭解到了數據中臺的架構，其中我們一個很重要的部分就是要構建數據資產，而數據安全管理既是數據資產管理中不可或缺的一部分，又是信息安全管理的重要組成部分。 數據安全的挑戰
2022-01-15 13:06:47
原创 數據中臺(數據集成篇)
聲明：本文歸屬一寸HUI所有。@一寸HUI 在上一篇文章數據中臺(架構篇)中瞭解到了數據中臺的架構，其中，數據集成開發平臺：數據集成開發平臺能最高效地使用底層的組件和數據，提供從源數據到數據能力的轉換。數據集成平臺是數據中臺數據接入的入口。
2022-01-14 13:06:50
原创 數據中臺(元數據篇)
聲明：本文歸屬一寸HUI所有。@一寸HUI 在上一篇文章數據中臺(架構篇)中瞭解到了數據中臺的架構，其中我們一個很重要的部分就是要構建數據資產，而數據資產中的元數據管理又是很重要的部分，接下來我們從幾個方面瞭解元數據：搞懂什麼是元數據？元數
2022-01-12 13:06:46
8
原创 2021-年終總結
這是最短的一次總結了，雖然短，但是還是要有吧。 2021年稀裏糊塗的實現人生中的第一次跳槽，從廣東來到了網紅的長沙，換了新工作，適應新環境，所以斷更了博客，這點比較遺憾，自己沒有規劃好時間，學習方面就不說了，明顯不及格。2021年的衆多計劃
2022-01-11 13:08:12
原创 數據中臺(架構篇)
聲明：本文歸屬一寸HUI所有。@一寸HUI 在上一篇文章數據中臺(方法論篇)中主要介紹了建設數據中臺要建設哪些內容、建設的步驟以及建設過程中需要遵循一定的規範並符合公司的戰略。也提及到了阿里巴巴數據中臺的全景圖，有了上面的基礎，現在更能方便
2022-01-11 13:08:12
1
原创 數據中臺(方法論篇)
從上一篇文章數據中臺(介紹篇)我們知道數據中臺是什麼，解決什麼問題，有什麼價值，要做些什麼，接下來我們去了解下通過什麼方法來指導實施數據中臺。 數據中臺既不是一項技術，也不是一款產品，而是一套方法論，或者說是企業的一套戰略，其本質是企業運營
2022-01-11 13:08:12
原创 數據中臺(介紹篇)
公司在弄數據中臺，所以結合實際去理解了下數據中臺，本文歸屬一寸HUI所有。@一寸HUI 數據中臺是什麼？ 數據中臺是一套可持續“讓企業的數據用起來”的機制，是一種戰略選擇和組織形式，是依據企業特有的業務模式和組織架構，通過有形的產品和實施方
2022-01-11 13:08:12
原创 es相關監控指標梳理
###################ElasticSearch監控指標梳理########################### #author:lugh1
2021-09-28 13:45:30
原创 greenplum6.14、GPCC6.4安裝詳解
最近在做gp的升級和整改，所以把做的內容整理下，這篇文章主要是基於gp6.14的安裝，主要分爲gp，gpcc，pxf的一些安裝和初始化。本文爲博客園作者所寫： 一寸HUI，個人博客地址：https://www.cnblogs.com/zsq
2021-03-31 13:45:35