數據比對技巧
場景1:與其他產商的系統對接的時候,往往因爲字段不匹配,或者網絡問題,或者線程池滿載等,導致一些數據未能正常入庫,僅靠流水錶有的時候並不能完全確定所有的數據問題。
處理方案:
1.從廠商那裏拿到出庫數據表,可以導成csv或者excel.(頁面導出或者數據庫導出都行)
2.從本系統導出數據,同樣是csv或者excel.
3.雖然雙方數據庫可能有所差異,但是應該有共通列,這個時候可以將共同列數據放在同一個excel中。
找兩個空列,使用countif函數,如
countif(B:B,E1)
然後,按住ctrl 拉單元格右下角的+號,使得整列都出現統計值。可以弄兩列,分別對比。其中B:B 代碼數據區域,根據你要對比的數據進行選擇,我這裏選擇的是B整個列,E1是要統計對比的值,解釋下就是 “央視新聞聯播”這條數據,是否在B這列出現過,
0代表沒有,非0代表出現的次數。
數據庫底量數據處理
我們常常要對底量數據進行處理,那麼,我們需要拼接語句(不借助編寫後端或者腳本代碼的情況下實現),我們可以直接在navicat之類的可視化工具中,進行sql編寫,其實,如果有大量重複的語句,我們可以寫一行 insert into xxx (xx,xx,xx,xx) values(xx,xx,xx,xx),讓values那些值成爲從源數據庫中導出的字段,然後拼接引號和逗號,由於excel的半角引號有特殊用處可以加個轉義符,或者特殊符號,到時候拿到navicat中替換。
數據遷移技巧
1.可以藉助導出csv,編寫存儲過程處理。