excel讀取神奇——easyexcel

今天給大家安利一款excel文件導入神器，easyexcel，官方地址：（https://github.com/alibaba/easyexcel）。
在官網文檔中有介紹了其性能。




從上面的性能測試可以看出easyexcel在解析耗時上比poiuserModel模式弱了一些。主要原因是我內部採用了反射做模型字段映射，中間我也加了cache，但感覺這點差距可以接受的。但在內存消耗上差別就比較明顯了，easyexcel在後面文件再增大，內存消耗幾乎不會增加了。但poi userModel就不一樣了，簡直就要爆掉了。想想一個excel解析200M，同時有20個人再用估計一臺機器就掛了。

如何使用呢

1、引入maven依賴

   <dependency>
		<groupId>com.alibaba</groupId>
		<artifactId>easyexcel</artifactId>
		<version>2.0.5</version>
</dependency>

由於改jar包對poi進行了一些封裝，因此需要註釋掉項目引用的poi依賴，不然會有版本衝突。
2、創建接收excel數據的實體

@Data
public class Person {

    @ExcelProperty(value = "姓名",index = 1)
    private String name;

    @ExcelProperty("性別")
    private String sex;

    @ExcelProperty("年齡")
    private int age;
}

@ExcelProperty 這個註解用於指定該屬性對應excel文件中的哪一列數據。裏面有兩個屬性，一個是value,另一個是index（從0開始），這裏不建議 index 和 name 同時用，要麼一個對象只用index，要麼一個對象只用name去匹配。
3、增加person監聽器

@Slf4j
public class PersonListener extends AnalysisEventListener<Person> {

    /**
     * 每隔5條存儲數據庫，實際使用中可以3000條，然後清理list ，方便內存回收
     */
    private static final int BATCH_COUNT = 5;
    List<Person> list = new ArrayList();

    @Override
    public void invoke(Person person, AnalysisContext analysisContext) {
        log.info("解析到一條數據:{}",person);
        if (list.size() >= BATCH_COUNT) {
            saveData();
            list.clear();
        }
    }

    @Override
    public void doAfterAllAnalysed(AnalysisContext analysisContext) {
        saveData();
        log.info("所有數據解析完成！");
    }
    @Override
    public void onException(Exception exception, AnalysisContext context) {
        log.error("解析失敗，但是繼續解析下一行", exception);

    }
    /**
     * 加上存儲數據庫
     */
    private void saveData(){
        log.info("{}條數據，開始存儲數據庫！", list.size());
        log.info("存儲數據庫成功！");
    }
}

4、文件上傳方法

@RestController
@Slf4j
public class PersonController {
    
    @PostMapping("importFile")
    public String readPerson(MultipartFile file){
        
        PersonListener personListener = new PersonListener();
        try {

            // headRowNumber(2) 這裏可以設置1，因爲頭就是一行。如果多行頭，可以設置其他值。不傳入也可以，他沒有指定頭，也就是默認1行
            EasyExcel.read(file.getInputStream(), Person.class,personListener).sheet().headRowNumber(1).doRead();

        }catch (IOException ioe){

            log.info("讀取excel異常={}",ioe);
        }
        return "";
    }
}

這樣代碼基本就算完成了。接下來我們看看如何在

spring框架中使用

我們知道，在spring中文件入庫的時候可能需要調用service，service調用dao入庫。那我們如何在這個PersonListener中調用service呢。
首先，在PersonController中注入service.

    @Autowired
    private PersonService personService;

然後，在PersonListener中增加一個有參構造器。

   private PersonService personService;
    
    public PersonListener(PersonService personService){

        this.personService = personService;
    }

最後在PersonController中new PersonListener的時候將service傳進來即可。

	@Autowired
    private PersonService personService;
    @PostMapping("importFile")
    public String readPerson(MultipartFile file){

        PersonListener personListener = new PersonListener(personService);
        try {

            // headRowNumber(2) 這裏可以設置1，因爲頭就是一行。如果多行頭，可以設置其他值。不傳入也可以，他沒有指定頭，也就是默認1行
            EasyExcel.read(file.getInputStream(), Person.class,personListener).sheet().headRowNumber(2).doRead();

        }catch (IOException ioe){

            log.info("讀取excel異常={}",ioe);
        }
        return "";
    }

接下來我們在看一下，有一個需求是這樣的，我們需要統計一下導入成功數和失敗數並且要不失敗數寫入到一個excel中返回給頁面，如何實現？
我們調整一下PersonListener

@Slf4j
public class PersonListener extends AnalysisEventListener<Person> {

    private int successCount = 0; // 成功量
    
    private int exceptionCount = 0; // 異常量

    private List<Person> exceptionList = new ArrayList<>(); // 異常數據

    /**
     * 每隔5條存儲數據庫，實際使用中可以3000條，然後清理list ，方便內存回收
     */
    private static final int BATCH_COUNT = 5;
    List<Person> list = new ArrayList();

    private PersonService personService;

    public PersonListener(PersonService personService){

        this.personService = personService;
    }

    @Override
    public void invoke(Person person, AnalysisContext analysisContext) {
        log.info("解析到一條數據:{}",person);
        successCount  ;
				list.add(person);
        if (list.size() >= BATCH_COUNT) {
            saveData();
            list.clear();
        }
    }

    @Override
    public void doAfterAllAnalysed(AnalysisContext analysisContext) {
        saveData();
        log.info("所有數據解析完成！");
    }
    @Override
    public void onException(Exception exception, AnalysisContext context) {
        log.error("解析失敗，但是繼續解析下一行", exception);

        Person person  = (Person)context.readRowHolder().getCurrentRowAnalysisResult();
        exceptionList.add(person);
        exceptionCount  ;

    }
    /**
     * 加上存儲數據庫
     */
    private void saveData(){
        log.info("{}條數據，開始存儲數據庫！", list.size());
        log.info("存儲數據庫成功！");
    }
    /**
     * 插入結果返回
     * @return
     */
    public Map<String,Object> getData(){

        Map<String,Object> map = new HashMap<>();
        map.put("success",successCount);
        map.put("exception",exceptionCount);
        return map;
    }

    /**
     * 失敗數據返回
     * @return
     */
    public List<Person> getExceptionList(){

        return exceptionList;
    }
}

在PersonController中將異常數據寫入文件。

@RestController
@Slf4j
public class PersonController {

    @Autowired
    private PersonService personService;

    @PostMapping("importFile")
    public String readPerson(MultipartFile file){

        PersonListener personListener = new PersonListener(personService);
        try {

            // headRowNumber(1) 這裏可以設置1，因爲頭就是一行。如果多行頭，可以設置其他值。不傳入也可以，他沒有指定頭，也就是默認1行
            EasyExcel.read(file.getInputStream(), Person.class,personListener).sheet().headRowNumber(1).doRead();

        }catch (IOException ioe){

            log.info("讀取excel異常={}",ioe);
        }
        Map<String, Object> data = personListener.getData();
        String exception = data.get("exception")   "";
        int exceptionCount = Integer.parseInt(exception);
        if(exceptionCount>0){
            String fileName = System.currentTimeMillis()   ".xlsx";
            // 這裏 需要指定寫用哪個class去讀，然後寫到第一個sheet，名字爲模板 然後文件流會自動關閉
            EasyExcel.write("E://upload/file/" fileName, Person.class).sheet("模板").doWrite(personListener.getExceptionList());
            data.put("fileName",fileName);
        }
        return data.toString();
    }
}

我們寫個頁面測試一下

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>文件上傳</title>
</head>
<body>
<form action="/importFile" method="post" enctype="multipart/form-data">
    <input type="file"  name="file"/>
    <button type="submit">提交</button>
</form>
</body>
</html>

下面是測試的日誌文件

2019-10-20 11:21:59.809  INFO 17748 --- [nio-8080-exec-1] c.zhixie.easyexcel.demo.PersonListener   : 解析到一條數據:Person(name=執偕, sex=男, age=18)
2019-10-20 11:21:59.811  INFO 17748 --- [nio-8080-exec-1] c.zhixie.easyexcel.demo.PersonListener   : 解析到一條數據:Person(name=執偕2, sex=男, age=19)
2019-10-20 11:21:59.811  INFO 17748 --- [nio-8080-exec-1] c.zhixie.easyexcel.demo.PersonListener   : 解析到一條數據:Person(name=執偕3, sex=男, age=20)
2019-10-20 11:21:59.811  INFO 17748 --- [nio-8080-exec-1] c.zhixie.easyexcel.demo.PersonListener   : 解析到一條數據:Person(name=執偕4, sex=男, age=21)
2019-10-20 11:21:59.812  INFO 17748 --- [nio-8080-exec-1] c.zhixie.easyexcel.demo.PersonListener   : 解析到一條數據:Person(name=執偕5, sex=男, age=22)
2019-10-20 11:21:59.812  INFO 17748 --- [nio-8080-exec-1] c.zhixie.easyexcel.demo.PersonListener   : 5條數據，開始存儲數據庫！
2019-10-20 11:21:59.812  INFO 17748 --- [nio-8080-exec-1] c.zhixie.easyexcel.demo.PersonListener   : 存儲數據庫成功！
2019-10-20 11:21:59.812  INFO 17748 --- [nio-8080-exec-1] c.zhixie.easyexcel.demo.PersonListener   : 解析到一條數據:Person(name=執偕6, sex=男, age=23)
2019-10-20 11:21:59.812  INFO 17748 --- [nio-8080-exec-1] c.zhixie.easyexcel.demo.PersonListener   : 解析到一條數據:Person(name=執偕7, sex=男, age=24)
2019-10-20 11:21:59.813  INFO 17748 --- [nio-8080-exec-1] c.zhixie.easyexcel.demo.PersonListener   : 解析到一條數據:Person(name=執偕8, sex=男, age=25)
2019-10-20 11:21:59.813  INFO 17748 --- [nio-8080-exec-1] c.zhixie.easyexcel.demo.PersonListener   : 解析到一條數據:Person(name=執偕9, sex=男, age=26)
2019-10-20 11:21:59.813  INFO 17748 --- [nio-8080-exec-1] c.zhixie.easyexcel.demo.PersonListener   : 4條數據，開始存儲數據庫！
2019-10-20 11:21:59.813  INFO 17748 --- [nio-8080-exec-1] c.zhixie.easyexcel.demo.PersonListener   : 存儲數據庫成功！
2019-10-20 11:21:59.813  INFO 17748 --- [nio-8080-exec-1] c.zhixie.easyexcel.demo.PersonListener   : 所有數據解析完成！

今天就介紹到這了，文中的代碼我已上傳到碼雲上，
**地址：**https://gitee.com/javaXiaoCaiJi/zhixie-code-example/tree/master/easyexcel

如果文章對您有幫助，請記得點贊關注喲~
歡迎大家關注我的公衆號<情繫IT>，每日推送技術文章供大家學習參考。