數據管理-文件管理規範示例

文件管理規範

爲了更快速,更準確,更規範的進行數據文件管理,企業一般都會去制定相應的管理規範。從而使各方面都按照這個規範去進行文件的存儲、讀取。規範着重於文件命名規則,以及一些校驗性文件的描述。
例子:FTP服務進行跨部門文件共享的相關規範。以數據庫數據文件導出至ftp文件服務器共享爲例,目錄下會存在以下3種格式文件。僅供參考。

接口新增數據文件

正常數據:文件類型標示_源系統數據庫類型簡寫.源系統數據庫.表名稱_數據日期_重傳序號.lzo
如正常數據爲:
增量(上次導出之後的新數據):
i_s.Peking.orders_20130711_000.lzo
i_s.Peking.orders_20130711_001.lzo
全量(表中所有的數據):
a_s.Peking.orders_20130711_000.lzo

接口控制校驗文件

正常數據:增全量標示_源系統數據庫類型簡寫.源系統數據庫.表名稱_數據日期_重傳序號.md5
如正常數據爲:
增量:
i_s.Peking.orders_20130711_000.md5
全量:
a_s.Peking.orders_20130711_000.md5
控制校驗文件的存在意義在於標識數據的完整性校驗,預防上傳丟失導致其他使用者獲取不完整數據。

接口表結構文件

正常數據:增全量標示_源系統數據庫類型簡寫.源系統數據庫.表名稱_數據日期_重傳序號.xml
如正常數據爲:
增量:
i_s.Peking.orders_20130711_000.xml
全量:
a_s.Peking.orders_20130711_000.xml

<?xml version="1.0" encoding="UTF-8" standalone="yes"?>
<table type="hbase" database="credit" code="cds_courier_active">
<field type="string" code="pin"/>
<field type="string" code="d_seq_no"/>
<field type="string" code="d_cust_id"/>
<field type="string" code="d_mobile"/>
<field type="string" code="d_active_stcd"/>
<field type="string" code="d_active_result"/>
<field type="string" code="d_credit_amt"/>
<field type="string" code="d_active_tm"/>
<field type="string" code="d_seq_no_interface"/>
<field type="string" code="d_apply_channel"/>
<field type="string" code="d_apply_type"/>
<field type="string" code="d_order_id"/>
<field type="string" code="d_name"/>
<field type="string" code="d_approve_times"/>
<field type="string" code="d_product_type"/>
</table>

表結構文件存在意義在於:便於數據的使用人員快速的瞭解本批次數據的大致內容,也方便後續回頭對數據進行檢測時作爲依照。
在這裏插入圖片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章