【開發心得】數據比對,數據庫底量處理,數據遷移技巧

數據比對技巧

       場景1:與其他產商的系統對接的時候,往往因爲字段不匹配,或者網絡問題,或者線程池滿載等,導致一些數據未能正常入庫,僅靠流水錶有的時候並不能完全確定所有的數據問題。

       處理方案:
        1.從廠商那裏拿到出庫數據表,可以導成csv或者excel.(頁面導出或者數據庫導出都行)

        2.從本系統導出數據,同樣是csv或者excel.

        3.雖然雙方數據庫可能有所差異,但是應該有共通列,這個時候可以將共同列數據放在同一個excel中。

找兩個空列,使用countif函數,如

      countif(B:B,E1)

然後,按住ctrl 拉單元格右下角的+號,使得整列都出現統計值。可以弄兩列,分別對比。其中B:B 代碼數據區域,根據你要對比的數據進行選擇,我這裏選擇的是B整個列,E1是要統計對比的值,解釋下就是 “央視新聞聯播”這條數據,是否在B這列出現過,

0代表沒有,非0代表出現的次數。

         

     
 

 

數據庫底量數據處理

          我們常常要對底量數據進行處理,那麼,我們需要拼接語句(不借助編寫後端或者腳本代碼的情況下實現),我們可以直接在navicat之類的可視化工具中,進行sql編寫,其實,如果有大量重複的語句,我們可以寫一行 insert  into xxx (xx,xx,xx,xx) values(xx,xx,xx,xx),讓values那些值成爲從源數據庫中導出的字段,然後拼接引號和逗號,由於excel的半角引號有特殊用處可以加個轉義符,或者特殊符號,到時候拿到navicat中替換。

 

數據遷移技巧

1.可以藉助導出csv,編寫存儲過程處理。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章