easypoi導入大文件內存溢出解決方案

【築基】超-雲淡風輕 14:03:08
有時候就是空間換時間

【築基】超-雲淡風輕 14:11:22
有時候導入大文件經常內存溢出,就直接簡單粗暴的限制了導入文件大小。這個有更好的解決方案嗎?

【管理員】狗管理表示,不會看文檔,沒資格寫代碼 14:11:41


【管理員】狗管理表示,不會看文檔,沒資格寫代碼 14:11:49
想要時間還是想要空間

【築基】超-雲淡風輕 14:12:41
要空間

【築基】超-雲淡風輕 14:12:47
不宕機就行啊

【築基】蘇京彬 14:13:00
小孩子才做選擇,成年人當然是全都要

【管理員】狗管理表示,不會看文檔,沒資格寫代碼 14:13:17
全都要就必須進行線程化

【管理員】狗管理表示,不會看文檔,沒資格寫代碼 14:13:33
如果當前的目的是隻要空間

【管理員】狗管理表示,不會看文檔,沒資格寫代碼 14:13:55
分批量將導入的數據存入庫中就行

【管理員】狗管理表示,不會看文檔,沒資格寫代碼 14:14:29
在此之前,將文件優先分割

【築基】超-雲淡風輕 14:14:33
從文件讀取數據到集合這個會不會內存溢出

【築基】超-雲淡風輕 14:14:45
怎麼分割

【管理員】狗管理表示,不會看文檔,沒資格寫代碼 14:14:52
百度分割文件

【管理員】狗管理表示,不會看文檔,沒資格寫代碼 14:15:30
有一個分割excel文件的jar

【築基】S 14:15:37
EasyExcel可以2000W條

【築基】S 14:15:39
親測過

【管理員】狗管理表示,不會看文檔,沒資格寫代碼 14:16:33
看需求是多少條吧

【管理員】狗管理表示,不會看文檔,沒資格寫代碼 14:16:43
覺得麻煩可以走easyexcel

【管理員】狗管理表示,不會看文檔,沒資格寫代碼 14:17:04
不覺得麻煩就使用easypoi的大數據導入接口

【管理員】狗管理表示,不會看文檔,沒資格寫代碼 14:17:27
反正官網裏寫的很明白,多看看就好了

 

【築基】Happer 14:46:03
大數據導入接口已經足夠滿足90%的業務場景了

【築基】超-雲淡風輕 14:46:37
大數據導入接口,最大數據量是多少?

【築基】Happer 14:48:31
200w 10列

【管理員】狗管理表示,不會看文檔,沒資格寫代碼 14:55:52
在這個數據量裏起碼不會出現oom

【築基】S 15:02:27

 


easyexcel的量也很大啊

【築基】S 15:02:33
一個sheet可以100W

【築基】S 15:02:40
來20個sheet

【築基】超-雲淡風輕 15:09:35
那也就是如果要導入幾千W甚至更多的,要分割文件分頁分批調用大數據導入接口再利用多線程提高效率?分割的文件用大數據導入接口也能獲取到數據吧?

【管理員】狗管理表示,不會看文檔,沒資格寫代碼 15:09:57
廢話

【築基】超-雲淡風輕 15:11:43
好吧,我是確認下思路,以後如果有這樣的需求直接這樣做了。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章