政府大數據之數據需求管理

做政府大數據平臺,委辦局數據接入與對外數據提供,這兩件事正常來講應該是先接入,然後再供數,但現實情況往往是互相影響,尤其是在大數據平臺建設之初,各類應用倒逼着大數據平臺去和委辦局協調數據。大數據平臺往往面對着幾十家委辦局、成百上個數據目錄,不論是從現有目錄中挑選應用需要的數據,還是從數據需求中篩選出需要接入的數據,都離不開對多個excel的反覆加工處理,數據接入成了一個煩燥、乏味的活。應該開發一個數據需求管理的系統,用於處理這類工作,通過信息化的技術減少人的手工工作量,利用數據分析的技術提高數據接入的效率:

  • 錄入(導入)數據需求。數據需求方將數據需求錄入或以模板的形式導入系統,包括部門名稱、數據項名稱、關鍵字段等。在錄入的過程中,數據項的名稱要儘量貼近委辦局的實際名稱。
  • 數據項自動匹配。將系統元數據與數據需求進行自動匹配,標記出已經接入的數據需求及匹配程度。在匹配的過程中,除了常規的邏輯比較之外,也可以引入一些機器學習的算法,能識別出同名不同義、同義不同名、部分匹配等情況,後續由人工進行校正。
  • 數據項人工匹配。對於自動匹配後不能完全匹配的數據需求,則由人工進行覈對,確實沒有接入的,標記爲“待接入需求”,對於有接入但名稱不同的數據需求,將其對應到相應的數據項,根據情況決定是否需要修改需求的名稱。
  • 數據需求排序。對於數據需求庫中的數據需求,根據同類數據需求的提出次數、優先級等因素,進行綜合排名,從而指導實際的數據接入工作。在合併數據需求的過程中,同樣需要將不同名的數據需求合併爲同類需求的情況,也可以用自動合併和手工合併兩種處理思路。
  • 數據需求跟蹤。錄入到數據需求庫中的所有數據需求,需要自動或人工跟蹤其接入的進度,當數據正式接入後,要更新其接入狀態,並與實際的數據資源進行對應。

通過以上幾個功能,可以將數據需求的提出與數據需求的跟蹤,通過系統管理起來,避免excel文件的傳遞,既能提升數據接入前需求分析的效率,也可以讓各應用方對於數據平臺中的數據支撐能力有更好地瞭解,讓數據接入變地更加有序。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章