【pandas】 vs pyexcelerate 写入excel大文件比较

工作中需要大量excel读写,数据大小接近200M,传统excel略显吃力,

无论是数据处理还是读取,很容易因为操作过快导致程序崩掉,如果忘了保存,那将是很头疼的事。

pandas除了读取和存储较慢,数据处理和查询都比较出色,下面就写入excel,对比pyexcelerate ,看看各自优势。

 

 

 

 

数据质量

 

 

 

通过对比:

        1、从时间看:pandas处理10m20s,pyexcelerate处理5m46s,pyexcelerate速度完胜,节省几乎一半时间。

         2、从存储文件大小看:pandas:173M,pyexcelerate:228M,pandas完胜,内存节省55M

         3、从数据质量看,pandas空数据NA,excel显示正常,pyexcelerate空数据,无论数值型还是文本型,均显示#NUM!,pandas完胜。

 

结论:

pandas大数据存储比较快,但是数据质量可靠,文件小;

pyexcelerate存储比较快,但是数据质量不佳,需要二次处理(excel再做处理,批量替换#NUM!不如用pandas),文件也比较大小

目前看来,pandas还是很稳妥,除了读写excel大文件比较慢,处理数据还是很快的。

【#NUM!:此错误表明公式或函数中含有无效的数值】

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章