有限內存讀取超大數據

1.1https://www.kaggle.com/c/talkingdata-adtracking-fraud-detection/discussion/56105

1.2https://blog.csdn.net/xingkong_dahai/article/details/77140918

分塊讀取完後,對int,float和object進行修改類型,可以節省很多內存,然後再保存成pickle文件,下次再讀該文件的時候,速度也可以快很多,而且內存也小。

還有hdf5哦

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章