Qt數據庫應用1-數據導入導出csv

一、前言

在經歷過大大小小十幾個甚至幾十個純QtWidget項目後，涉及到數據庫相關的項目，幾乎都有一個需求，將少量的信息數據比如設備信息、防區信息等，導出到文件保存好，然後用戶可以打開該表格進行編輯，編輯完成後保存，再重新導入到軟件中，這樣相當於安排專人錄入數據，而不是在軟件中一個個新增效率低了些，甚至有些軟件運行在嵌入式板子上或者一些特殊場景，不大方便現場添加編輯信息，如果是提供模板之類的讓用戶添加好，然後再一次性導入，這個效率就大大提升了。

導入導出數據可以選擇xls、也可以選擇csv，爲什麼最後選擇的是csv，因爲xls很容易依賴本地office軟件，就算用什麼libxls啥的也沒用，畢竟excel本身就不是標準的數據庫，單元格數據可以任意指定的，一旦用戶破壞了原有的格式要求，你要想按照規則讀取導入數據幾乎異想天開，而csv語法極其簡單，就是按照指定的分隔符比如 ; 分割字符串就行，同理按照這個規則解析也是極其簡單，所以在跨平臺的場景下csv是首選，當然如果對格式有特殊的需要比如邊框、對齊、顏色、分組等情況就必須用到xls了，本組件也封裝了。

最開始做項目的時候遇到導入導出，都是直接功能源碼寫在對應的功能按鈕函數中，後面隨着項目數量的增多，就算是拷貝也是費時間的，而且這個功能還是不斷改進的，一旦某個項目改進了，那相關這個功能的項目都想去改進，代碼改動真大，不光是跨項目，就算是在同一個項目中，都會有多處多個信息表會要這個功能，於是想着把這個功能單獨做一個通用的類，提供靜態函數接口，可以指定分隔符、文件名、文件拓展名、過濾條件、表名、字段集合等。用法極其簡單速度極快，導出的數據支持任意表格軟件比如excel、wps等，導入數據直接到數據庫，自動組織插入sql語句並執行。

二、功能特點

1. 組件同時集成了導出數據到csv、xls、pdf和打印數據。
2. 所有操作全部提供靜態方法無需new，數據和屬性等各種參數設置採用結構體數據，極爲方便。
3. 同時支持QTableView、QTableWidget、QStandardItemModel、QSqlTableModel等數據源。
4. 提供靜態方法直接傳入QTableView、QTableWidget控件，自動識別列名、列寬和數據內容。
5. 每組功能都提供單獨的完整的示例，註釋詳細，非常適合各階段Qter程序員。
6. 原創導出數據機制，不依賴任何office組件或者操作系統等第三方庫，支持嵌入式linux。
7. 速度超快，9個字段10萬行數據只需要2秒鐘完成。
8. 只需要四個步驟即可開始急速導出海量數據比如100W條記錄到Excel。
9. 同時提供直接寫入數據接口和多線程寫入數據接口，不卡主界面。
10. 可設置標題、副標題、表名。
11. 可設置導出數據的字段名、列名、列寬。
12. 可設置末尾列自動拉伸填充，默認拉伸更美觀。
13. 可設置是否啓用校驗過濾數據，啓用後符合規則的數據特殊顏色顯示。
14. 可指定校驗的列、校驗規則、校驗值、校驗值數據類型。
15. 校驗規則支持 精確等於==、大於>、大於等於>=、小於<、小於等於<=、不等於!=、包含contains。
16. 校驗值數據類型支持 整型int、浮點型float、雙精度型double，默認文本字符串類型。
17. 可設置隨機背景顏色及需要隨機背景色的列集合。
18. 支持分組輸出數據，比如按照設備分組輸出數據，方便查看。
19. 可設置csv分隔符、行內容分隔符、子內容分隔符。
20. 可設置邊框寬度、自動填數據類型，默認自動數據類型開啓。
21. 可設置是否開啓數據單元格樣式，默認不開啓，不開啓可以節約大概30%的文件體積。
22. 可設置橫向排版、紙張邊距等，比如導出到pdf以及打印數據。
23. 支持圖文混排導出數據到pdf以及打印數據，自動分頁。
24. 靈活性超高，可自由更改源碼設置對齊方式、文字顏色、背景顏色等。
25. 支持任意excel表格軟件，包括但不限於excel2003-2021、wps、openoffice等。
26. 純Qt編寫，支持任意Qt版本+任意編譯器+任意系統。

三、體驗地址

1. 體驗地址：https://pan.baidu.com/s/1ZxG-oyUKe286LPMPxOrO2A 提取碼：o05q 文件名：bin_dataout.zip
2. 國內站點：https://gitee.com/feiyangqingyun
3. 國際站點：https://github.com/feiyangqingyun
4. 個人主頁：https://blog.csdn.net/feiyangqingyun
5. 知乎主頁：https://www.zhihu.com/people/feiyangqingyun/

四、效果圖

五、相關代碼

bool DataCsv::inputData(int columnCount,
                        const QString &columnNames,
                        const QString &tableName,
                        QString &fileName,
                        const QString &defaultDir,
                        bool existTitle)
{
    fileName = QFileDialog::getOpenFileName(0, "選擇文件", defaultDir, DataCsv::CsvFilter);
    if (fileName.isEmpty()) {
        return false;
    }

    QFile file(fileName);
    bool ok = file.open(QIODevice::ReadOnly | QFile::Text);
    if (!ok) {
        return false;
    }

    //傳入了字段集合則取字段
    if (!columnNames.isEmpty()) {
        columnCount = columnNames.split(",").count();
    }

    //先讀取第一行判斷列數是否和目標列數一致,不一致則返回
    QString line = QString::fromUtf8(file.readLine());
    QStringList list = line.split(DataCsv::CsvSpliter);
    if (list.count() != columnCount) {
        return false;
    }

    //先刪除原來的數據
    QString sql = QString("delete from %1").arg(tableName);
    QSqlQuery query;
    query.exec(sql);

    //cvs格式需要gbk編碼才能正常
    QTextStream in(&file);
    in.seek(0);
    if (fileName.endsWith(".csv")) {
#if (QT_VERSION < QT_VERSION_CHECK(6,0,0))
        in.setCodec("gbk");
#endif
    }

    //開啓數據庫事務加速處理
    QSqlDatabase::database().transaction();

    bool isremoveTitle = false;
    while (!in.atEnd()) {
        QString line = in.readLine();
        QStringList list = line.split(DataCsv::CsvSpliter);

        //如果存在標題則不需要處理第一行標題
        if (existTitle && !isremoveTitle) {
            isremoveTitle = true;
            continue;
        }

        //列數必須完全一致纔行
        if (list.count() == columnCount) {
            if (!columnNames.isEmpty()) {
                sql = QString("insert into %1(%2) values('").arg(tableName).arg(columnNames);
            } else {
                sql = QString("insert into %1 values('").arg(tableName);
            }

            for (int i = 0; i < columnCount - 1; i++) {
                sql = sql + list.at(i).trimmed() + "','";
            }

            sql = sql + list.at(columnCount - 1).trimmed() + "')";
            query.clear();
            query.exec(sql);
        }
    }

    //提交數據庫事務
    if (!QSqlDatabase::database().commit()) {
        QSqlDatabase::database().rollback();
        return false;
    }

    file.close();
    return true;
}

bool DataCsv::outputData(const QString &defaultName,
                         const QStringList &content,
                         QString &fileName,
                         const QString &defaultDir)
{
    bool result = true;
    QString defaultPath = QString("%1/%2").arg(defaultDir).arg(defaultName);
    fileName = QFileDialog::getSaveFileName(0, "選擇文件", defaultPath, DataCsv::CsvFilter);
    outputData(fileName, content);
    return result;
}

bool DataCsv::outputData(QString &fileName, const QStringList &content)
{
    if (fileName.isEmpty()) {
        return false;
    }

    int rowCount = content.count();
    if (rowCount == 0) {
        fileName.clear();
        return false;
    }

    QFile file(fileName);
    if (file.open(QIODevice::WriteOnly | QFile::Text)) {
        //cvs格式需要gbk編碼才能正常
        QTextStream out(&file);
        if (fileName.endsWith(".csv")) {
#if (QT_VERSION < QT_VERSION_CHECK(6,0,0))
            out.setCodec("gbk");
#endif
        }

        for (int i = 0; i < rowCount; i++) {
            out << content.at(i) << "\n";
        }

        file.close();
    }

    return true;
}

//最簡單使用方法
void frmSimple::on_btnCsv1_clicked()
{
    QString file = QUIHelper::appPath() + "/db/dataout_tableview.csv";
    DataHelper::DataOut(ui->tableView, model, 0, file, "測試標題", "測試信息");
    //打開剛纔導出的文件
    QUIHelper::openFile(file, "導出測試信息");
}