原创 政府大數據的資源庫建設
政府大數據目前的建設都是圍繞基礎庫和主題庫展開，其中，基礎庫包括人口、法人、電子證照、空間地理，主題庫有社會信用、城市運行等。但資源庫建設的方法、標準、內容等卻沒有統一的認識，而且多數都是以ETL腳本、數據模型等形式體現，對於用戶
2020-06-22 08:28:32
原创 對政府大數據的理解
從我開始做政府大數據已經過去八個多月的時間了，由最初的一團亂麻，逐漸開始梳理出一些框架，記錄一點個人的想法。 政府大數據，面向的對象是省級政府或市（區）級政府機構。概括來講，政府的職能包括管理和服務，管理的對象包括人、企業、組織機
2020-06-22 08:28:32
原创 政府大數據之數據治理
目前項目正處於接入委辦局數據並進行治理的階段。由於大數據能力支撐平臺的特點，其主要是對外部其它應用系統提供能力支撐，包括分析能力、可視化能力、數據服務能力等，而數據治理則主要是將接入的數據進行清洗、轉換、融合等處理，正在考慮如何將
2020-06-22 08:28:32
原创 政府大數據之數據需求管理
做政府大數據平臺，委辦局數據接入與對外數據提供，這兩件事正常來講應該是先接入，然後再供數，但現實情況往往是互相影響，尤其是在大數據平臺建設之初，各類應用倒逼着大數據平臺去和委辦局協調數據。大數據平臺往往面對着幾十家委辦局、成百上個
2020-06-22 08:28:32
原创 指標管理的需求要點
最近梳理了指標管理在政府行業的需求點，包括了指標的定義和指標的查詢，但不包括指標的申請、上線等其它部分的內容，完整的腦圖如下： 在這次梳理當中，需要支持多套指標類目樹是一個新的發現，之前雖然也意識到用一套類目樹對指標進行分類有些
2020-06-22 08:28:32
原创 一站式數據開發工具構思
正在思考在數據項目中，提供一個什麼樣的開發工具，可以提高數據治理效率，降低ETL門檻，在政府項目中可以讓更多的委辦局利用雲平臺完成數據治理的工作。下圖是初步構建的一個功能，不同於kettle等ETL工具，這個工具希望能將盡可能多的
2020-06-22 08:28:32
原创 政府大數據之資源目錄管理
最近客戶正在按照三定職責梳理職責目錄和數據，需要用到大數據平臺的資源目錄系統，經過幾次交流，逐步梳理出一些改進需求。根據我的理解，梳理出資源目錄系統的功能架構，將一些需要重點改進的點記錄下來。 根據相關標準定義，資源目錄可以分爲
2020-06-22 08:28:32
原创 數據平臺與數據中臺
最近數據中臺被越來越多地提到，很多的技術方案也是以數據中臺進行對外宣講，包括我自己，也在經常對外講數據中臺的方案，那麼，數據中臺與數據平臺的區別是什麼呢？這個問題不時會被問到，歸納起來，我個人認爲有以下幾點： 數據中臺更加強調對
2020-06-22 08:28:32
原创 【產品規劃】數據治理產品的智能化設想（系列一）
上週參與了大數據築基工程對現有數據平臺的對標分析工作，各廠家要分析出自己平臺的現狀、差距以及要未來要改進的點，從而爲築基工程制定出接下來的行動計劃。 通過分析，發現公司產品在數據清洗、數據質量以及數據分析方面的覆蓋度還是挺好，但在
2020-06-06 22:26:35
原创 【心得體會】一次系統演示彙報
昨天爲市數據資源中心的客戶進行了一次系統演示。這次的演示爲了解決前幾周演示時多人分別演示不同系統、帶給客戶印象不佳的問題，由我牽頭主導對演示流程進行了完善： 設定5個場景，每個場景解決一個特定的問題，通過流程把功能串起來，避免由
2020-06-06 22:25:55
原创 【產品規劃】實現一個智能化的數據清洗工具（系列二）
數據清洗是數據分析過程中最基礎的工作，也是最累、最繁瑣的部分，不像數據挖掘、數據分析看起來那麼光鮮，做起來枯燥乏味。當然，這也與數據清洗工具的自動化程度不高，需要人肉去完成大量的ETL開發工作有極大的關係。爲了改善這種局面，可以讓
2020-06-06 22:25:13
原创 政府大數據平臺標準規範-數據接入
搞政府大數據平臺的，標準規範是一個繞不過去的內容，而且政府項目對標準規範貌似都特別看重，這是與做企業項目很大的不同。政府大數據平臺的標準規範可以從以下幾個方面制訂： 數據接入，包括結構化、非結構化數據，以及實時、批量數據的接入匯
2020-03-15 20:24:28
原创 基於區塊鏈的政務大數據平臺
目前正在思考區塊鏈技術在政務大數據的應用和落地場景，聯繫到區塊鏈的主要特性，也就是： 去中心化（Decentralized）：由於使用分佈式覈算和存儲，不存在中心化的硬件或管理機構，任意節點的權利和義務都是均等的，系統中的數據塊
2020-02-22 08:52:30
原创 政府大數據的資源庫建設不能等米下鍋
做政府大數據項目，基礎庫的建設是必備的項目，只是基礎庫的內容一直在變化，各家的理解也不一樣，一般會有人口庫、法人庫、電子證照庫、空間地理資源庫等。以人口庫爲例，是按照一數一源原則，將各委辦局的人口數據進行融合，爲各類應用提供共享共
2020-02-22 08:52:30
原创 大數據平臺要有自己的“能力指標體系”
在建設政務大數據平臺的過程中，項目組的注意力往往是匯聚委辦局數據、建設基礎庫、提供數據服務等方面的工作，忽略了歸納總結平臺自身的指標，尤其是當項目不包含應用建設的時候，項目成果彙報常常乏善可陳，常常需要經受各級領導的指責批評，質疑
2020-02-22 08:52:30