原创 Datahub穩定版本0.10.4安裝指南（獨孤風版本）
大家好，我是獨孤風，大數據流動的作者。 曾幾何時，我在第一次安裝JDK環境的時候也遇到了不小的麻煩，當時還有朋友就因爲這個環境問題覺得自己根本不是編程的料，選擇了放棄。當時有個段子說，“如果不是JDK環境沒搞定，我一定是一個編程天才”。權當
2023-08-07 13:27:48
原创 開源元數據管理平臺Datahub最新版本0.10.5——安裝部署手冊（附離線安裝包）
大家好，我是獨孤風。 開源元數據管理平臺Datahub近期得到了飛速的發展。已經更新到了0.10.5的版本，來諮詢我的小夥伴也越來越多，特別是安裝過程有很多問題。本文經過和羣裏大夥伴的共同討論，總結出安裝部署Datahub最新版本的部署手冊
2023-08-02 13:28:23
1
原创 一體化元數據管理平臺——OpenMetadata入門寶典
大家好，我是獨孤風，一位曾經的港口煤炭工人，目前在某國企任大數據負責人，公衆號大數據流動主理人。在最近的兩年的時間裏，因爲公司的需求，還有大數據的發展趨勢所在，我開始學習數據治理的相關知識。今天給大家分享一體化的元數據管理平臺——OpenM
2023-07-12 13:27:51
1
原创 數據治理是什麼？該如何入門呢？
大家好，我是獨孤風，一位曾經的港口煤炭工人，目前在某國企任大數據負責人，公衆號大數據流動主理人。 在最近的兩年的時間裏，因爲公司的需求，還有大數據的發展趨勢所在，我開始學習數據治理的相關知識。 隨着互聯網熱潮的退去，互聯網開始由消費互聯網向
2023-07-10 13:33:05
2
原创 CDMP國際數據治理認證訓練營來了（7-8月）
大家好，我是獨孤風，一位曾經的港口煤炭工人，目前在某國企任大數據負責人，公衆號大數據流動主理人。在最近的兩年的時間裏，因爲公司的需求，還有大數據的發展趨勢所在，我開始學習數據治理的相關知識。 經過一段時間的努力，我也終於通過了CDMP國際數
2023-07-08 13:30:56
原创 34歲上岸，我終於圓了自己的考研夢
大家好，我是獨孤風，一位曾經的港口煤炭工人，目前在某國企任大數據負責人，公衆號大數據流動的作者。 雖然告訴自己要平靜，但是當接到EMS錄取通知書的那一刻，眼眶還是忍不住有些溼潤。今年正好是是東北大學的建校100週年，錄取
2023-06-30 13:27:50
原创 Hadoop生態元數據管理平臺——Atlas2.3.0發佈！
大家好，我是獨孤風。 今天我們來聊一下另一個元數據管理平臺Apache Atlas。Atlas其實有一些年頭了，是在2015年的時候就開源。 相對於Datahub來說，Atlas顯得有一些“老”了，社區也遠沒有以前活躍。 但是，從穩定性
2023-01-11 13:28:29
1
原创 聊聊Hive數據血緣——從Atlas沒有列級血緣的Bug講起
前幾天，Datahub提供了最新的字段級別數據血緣功能，很多朋友迫不及待想對比一下Datahub的字段級血緣與Atlas的區別。 這個時候問題來了，在Atlas收集Hive血緣的時候，由於部分版本問題，沒有顯示出字段級的數據血緣。這是爲什麼
2022-11-17 13:27:54
原创 從港口煤炭工人，到國企大數據負責人：曾經的網癮少年是怎麼做到的？
大家好，我是獨孤風，一位曾經的港口煤炭工人，目前在某國企任大數據負責人，公衆號大數據流動主理人，近日公衆號粉絲也剛剛突破了萬人算是一個小小的里程碑。 看着已經有一萬人來關注自己，閱讀過自己寫的文章。心中還是感慨萬千的。所以，藉着這個機會，
2022-11-09 13:27:53
原创 Datahub新版本0.9.1更新，列級別數據血緣功能發佈！
大家好，我是獨孤風。 近期Datahub進行了一次大的版本更新，從0.9版本以後Datahub也正式發佈了列級別數據血緣的功能。 0.9.1版本又增加了，列的影響分析這個功能。 這樣Datahub對於列級別數據血緣的功能支撐就非常完善了
2022-11-03 13:27:55
1
原创 企業級數據治理工作怎麼開展？Datahub這樣做
大數據發展到今天，扮演了越來越重要的作用。數據可以爲各種組織和企業提供關鍵決策的支持，也可以通過數據分析幫助發現更多的有價值的東西，如商機、風險等等。 在數據治理工作開展的時候，往往會有一個專門負責數據治理工作的負責人，他和大數據的負責
2022-08-02 13:28:24
1
原创 滴滴被罰，數據安全該怎麼做？——大數據安全入門寶典
2022年7月21日，大家都被一則新聞刷屏了。 經查實，滴滴全球股份有限公司違反《網絡安全法》《數據安全法》《個人信息保護法》的違法違規行爲事實清楚、證據確鑿、情節嚴重、性質惡劣。 7月21日，國家互聯網信息辦公室依據《網絡安全法》《數據安
2022-07-23 13:29:58
原创 從零開始學數據治理——第一課（開篇）
最近一直在思考幾個問題： 數據治理到底該如何學？ 先學理論還是先學技術？ 如何衡量自己數據治理學習的好壞程度？ 有沒有一些考試可以驗證自己的學習成果？ 如果需要招聘一個數據治理的專業人員，除了證書還應該考察他的什麼能力？ 有哪些書籍是學習
2022-07-21 13:28:02
原创 高顏值開源數據可視化工具——Superset 2.0正式發佈！
Superset終於迎來了又一個重大的版本更新。使用superset已經近三年的時間了，其爲我們提供了數據可視化的解決方案。也成爲了最好的商用BI的替代方案。 在Github上本次更新已經發布。 Pip相關軟件包也已經發布
2022-07-20 13:28:01
16
原创 數據質量管理工具預研——Griffin VS Deequ VS Great expectations VS Qualitis
開源數據質量管理工具預研——Griffin VS Deequ VS Great expectations VS Qualitis。 概述 數據質量監控（DQC）是最近很火的一個話題,也是數據治理中最重要的一環。有一句話說得好。數據質量
2022-07-18 13:28:53
6