P2P網貸系統重構過程中的數據遷移

在軟件的生命週期中,若當前運行的系統在架構、性能、配置等方面,或無法滿足功能擴展的需要,或無法符合業務發展的需求,或無法達到降低成本的要求,公司一般會選擇系統重構。


系統重構是在不改變軟件功能的前提下,對軟件內部結構進行調整。直白的說,系統重構就是在原有系統的基礎上,進行二次開發,既要承接現有的業務,又要兼容兼容老業務,並將舊系統的業務數據遷移至新系統上。


受業務影響,系統重構更關注的是功能模塊的實現邏輯,和模塊之間的業務關係。


系統重構首要處理的任務是系統遷移。系統遷移包括數據資源整合、新舊系統遷移、新系統運行監控。


系統遷移過程中,安全、平穩過渡是第一位。我們要保證新系統正常運行、保證原有業務在新系統中的獨立性。


一方面要保證新系統的穩定性,一旦新系統無法穩定運作,快速切換回舊系統。比如導入借款人的數據格式錯誤,導致訪問標的詳情拋系統異常,可以切回舊系統操作。

另一方面要保證新系統的兼容性,舊系統產生的數據,可以在新系統操作查詢。比如查看出借人的歷史交易流水、提現記錄、充值記錄、投資記錄、紅包明細等。


系統遷移首要解決的問題是數據遷移。數據遷移一般是在存儲層面、數據庫層面和系統層面對基礎數據、純歷史數據、變化較大的歷史數據、流程性數據等進行遷移。


數據遷移面臨着技術、成本、安全三方面的問題:技術上要解決數據異構性、在線遷移的問題;成本上要解決重複工作、資源佔用的問題;安全上要解決遷移失敗、系統容錯的問題。


以某P2P網貸系統重構爲例:我們需要將原來的第三方支付託管系統,切換爲銀行存管系統,涉及新功能開發、接口改造、數據遷移等方面。比如開通紅包賬戶、開通服務費賬戶、批量存管開戶、標的登記、自動投標授權、自動債轉授權、單點登錄、用戶數據遷移、業務數據遷移等。


但目前該P2P網貸系統的數據量,已經達到千萬級別的體量。如何正確、快速地實現新舊系統間的數據遷移,是我們亟待解決的問題。若數據遷移處理不當,可能導致新系統啓動異常,運行緩慢,數據冗餘或數據丟失。


數據遷移分爲三個階段:數據遷移前的準備、數據遷移的實施和數據遷移後的校驗。我將從數據遷移的三個階段說一下,在新舊P2P網貸系統重構過程中,如何做數據遷移。

數據遷移的準備

數據遷移前,我們會做充分而周到的準備工作。比如成立數據遷移小組,設計數據遷移方案,擬定數據遷移計劃,採取組內討論的頭腦風暴,制定應急措施和備份策略。


產品人員側重瞭解原系統的業務範圍、業務流程、數據流程等。從業務邏輯和處理流程的角度,對新舊系統的原有業務和現有業務進行差異分析,並輸出《P2P(存管)數據遷移業務梳理》和《P2P(存管)數據遷移實施方案》。


開發人員側重瞭解原系統的網絡結構、數據結構、數據庫表結構、接口邏輯等。對新舊系統的數據結構和代碼數據進行系統分析,並輸出《P2P(存管)數據遷移詳細說明》和《P2P(存管)系統切換方案》。


測試人員側重瞭解原系統的數據遷移範圍、統計遷移數據類型等。從功能模塊和信息流轉的角度,對舊系統的歷史數據進行質量分析,並編寫《P2P(存管)數據遷移測試計劃》和《P2P(存管)數據遷移測試案例》。


數據遷移的實施


數據遷移的實施是數據遷移中最重要的一個環節,關係到系統切換的成功與否。一般會從數據遷移小組中,安排一名負責人統籌原系統分析、系統設計、數據整理、數據轉換、系統切換等過程的實施。


首先,我們會準備數據遷移環境,對環境做充分的調研,瞭解數據遷移涉及的業務場景和影響範圍。


其次,將原系統數據整理爲系統轉換程序能夠識別的數據,對照表的要求進行轉換,並寫入到新系統。


最後,在當月末凌晨資金對賬跑批完成後,對系統進行切換。在保證遷移過程不停機、系統持續服務的情況下,準備回退和應急方案。確保網絡臨時中斷或系統臨時停機時,可以完成數據備份、保存日誌和系統回退等操作。


數據遷移後的校驗


數據遷移到銀行存管系統後,我們會安排負責AB角色的4名測試人員,對遷移後的數據進行校驗。


一方面與舊系統數據庫中的數據進行比較,驗證新數據庫中數據的正確性。另一方面是使用質量檢查工具或編寫Python腳本,檢查相關功能模塊數據的準確性。


在SIT階段,我們側重對數據遷移進行驗證性測試。在UAT階段,我們側重對數據遷移進行監測性測試。


因爲P2P網貸系統涉及到存管開戶、充值、提現、授權簽約、投標、自動投標、債權轉讓、放款、還款等業務,所以我們會加大業務流、信息流、資金流的測試力度。我們會進行三輪以上的業務邏輯和數據模擬測試,以確保遷移過來的數據的有效性、一致性、可用性。


在灰度發佈階段,我們會把系統交付給運營、客服、風控和市場部門的相關人員。在宣導完數據遷移相關操作的注意事項後,會讓他們採取盲目和暴力的操作方式進行驗收。記錄每一步的驗收記錄,以便更好的發現問題時,及時反饋,及時解決。


經過三個月的系統重構,數據遷移順利完成,系統逐漸平穩運行,獲得了公司內部和平臺用戶的一致好評。我們也組織了遷移小組進行項目覆盤,從中總結經驗。


本文首發於微信公衆號 產品經理朱學敏(ID:pm_zhuxuemin),如需轉載,請聯繫原作者。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章