原创 數據中臺(安全篇)

聲明:本文歸屬一寸HUI所有。@一寸HUI 在文章數據中臺(架構篇)中瞭解到了數據中臺的架構,其中我們一個很重要的部分就是要構建數據資產,而數據安全管理既是數據資產管理中不可或缺的一部分,又是信息安全管理的重要組成部分。 數據安全的挑戰

原创 數據中臺(數據集成篇)

聲明:本文歸屬一寸HUI所有。@一寸HUI 在上一篇文章數據中臺(架構篇)中瞭解到了數據中臺的架構,其中,數據集成開發平臺:數據集成開發平臺能最高效地使用底層的組件和數據,提供從源數據到數據能力的轉換。數據集成平臺是數據中臺數據接入的入口。

原创 數據中臺(元數據篇)

聲明:本文歸屬一寸HUI所有。@一寸HUI 在上一篇文章數據中臺(架構篇)中瞭解到了數據中臺的架構,其中我們一個很重要的部分就是要構建數據資產,而數據資產中的元數據管理又是很重要的部分,接下來我們從幾個方面瞭解元數據:搞懂什麼是元數據?元數

原创 2021-年終總結

這是最短的一次總結了,雖然短,但是還是要有吧。 2021年稀裏糊塗的實現人生中的第一次跳槽,從廣東來到了網紅的長沙,換了新工作,適應新環境,所以斷更了博客,這點比較遺憾,自己沒有規劃好時間,學習方面就不說了,明顯不及格。2021年的衆多計劃

原创 數據中臺(架構篇)

聲明:本文歸屬一寸HUI所有。@一寸HUI 在上一篇文章數據中臺(方法論篇)中主要介紹了建設數據中臺要建設哪些內容、建設的步驟以及建設過程中需要遵循一定的規範並符合公司的戰略。也提及到了阿里巴巴數據中臺的全景圖,有了上面的基礎,現在更能方便

原创 數據中臺(方法論篇)

從上一篇文章數據中臺(介紹篇)我們知道數據中臺是什麼,解決什麼問題,有什麼價值,要做些什麼,接下來我們去了解下通過什麼方法來指導實施數據中臺。 數據中臺既不是一項技術,也不是一款產品,而是一套方法論,或者說是企業的一套戰略,其本質是企業運營

原创 數據中臺(介紹篇)

公司在弄數據中臺,所以結合實際去理解了下數據中臺,本文歸屬一寸HUI所有。@一寸HUI 數據中臺是什麼? 數據中臺是一套可持續“讓企業的數據用起來”的機制,是一種戰略選擇和組織形式,是依據企業特有的業務模式和組織架構,通過有形的產品和實施方

原创 es相關監控指標梳理

###################ElasticSearch監控指標梳理########################### #author:lugh1

原创 greenplum6.14、GPCC6.4安裝詳解

最近在做gp的升級和整改,所以把做的內容整理下,這篇文章主要是基於gp6.14的安裝,主要分爲gp,gpcc,pxf的一些安裝和初始化。本文爲博客園作者所寫: 一寸HUI,個人博客地址:https://www.cnblogs.com/zsq

原创 elasticsearch如何設計集羣

本文爲博客園作者所寫: 一寸HUI,個人博客地址:https://www.cnblogs.com/zsql/   在寫本文時就在想,如果讓你負責一個elasticsearch集羣,從零開始,你會從哪些方面考慮?我們也知道es基本都是開箱即用

原创 elasticsearch如何設計索引

本文爲博客園作者所寫: 一寸HUI,個人博客地址:https://www.cnblogs.com/zsql/ 最近在做es相關的工作,所以記錄下自己的一些想法,可能很多方面不會很全面,但是基本都是經過驗證的。本文主要是圍繞着思考,從多個方面

原创 聊聊elasticsearch7.8的模板和動態映射

最近想寫一篇es的索引的一個設計,由於設計的東西特別多,當然,elasticsearch的模板和動態映射也是其中的一個設計點,所以乾脆先來聊聊索引的模板和動態映射,模板,聽這個名字就相當於一些公共可用的東西可以作爲所有索引的一個設置, 本文

原创 elasticsearch7.8權限控制和規劃

由於在版本7開始,x-pack可以免費使用了,但是權限控制免費的不夠細,但是控制到索引級別都基本夠用了。付費的可以體驗更細緻的權限控制。本文的基礎是已經有了es集羣的基礎上進行的。 官網:https://www.elastic.co/gui

原创 cloudera manager server遷移

一、遷移背景   服務器出了問題,導致整個cm server界面呈現出不可用的狀態,也就是獲取不到各個大數據組件以及主機相關的狀態的信息,整個cm server的前端界面處於癱瘓的狀態,不可用,剛開始懷疑是存放元數據的mysql有問題,但是

原创 工作兩年半的一次覆盤

  一、覆盤的目的   今天是2021年1月30號了,時間過得真的是挺快的,轉眼間就參加工作兩年半有餘了,回想起來其實感覺就是時間過去了,也不知道自己做了什麼,沒有記錄,沒有思考,這樣就很難得到個人的成長和提升。前幾天在網上看到覆盤,可能一