【开发心得】数据比对,数据库底量处理,数据迁移技巧

数据比对技巧

       场景1:与其他产商的系统对接的时候,往往因为字段不匹配,或者网络问题,或者线程池满载等,导致一些数据未能正常入库,仅靠流水表有的时候并不能完全确定所有的数据问题。

       处理方案:
        1.从厂商那里拿到出库数据表,可以导成csv或者excel.(页面导出或者数据库导出都行)

        2.从本系统导出数据,同样是csv或者excel.

        3.虽然双方数据库可能有所差异,但是应该有共通列,这个时候可以将共同列数据放在同一个excel中。

找两个空列,使用countif函数,如

      countif(B:B,E1)

然后,按住ctrl 拉单元格右下角的+号,使得整列都出现统计值。可以弄两列,分别对比。其中B:B 代码数据区域,根据你要对比的数据进行选择,我这里选择的是B整个列,E1是要统计对比的值,解释下就是 “央视新闻联播”这条数据,是否在B这列出现过,

0代表没有,非0代表出现的次数。

         

     
 

 

数据库底量数据处理

          我们常常要对底量数据进行处理,那么,我们需要拼接语句(不借助编写后端或者脚本代码的情况下实现),我们可以直接在navicat之类的可视化工具中,进行sql编写,其实,如果有大量重复的语句,我们可以写一行 insert  into xxx (xx,xx,xx,xx) values(xx,xx,xx,xx),让values那些值成为从源数据库中导出的字段,然后拼接引号和逗号,由于excel的半角引号有特殊用处可以加个转义符,或者特殊符号,到时候拿到navicat中替换。

 

数据迁移技巧

1.可以借助导出csv,编写存储过程处理。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章