sqlite3遷移mysql可能遇到的問題集合

這篇文章主要給大家介紹了關於sqlite3遷移mysql可能遇到的問題集合,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面來一起學習學習吧

簡述

適合閱讀對象:移動開發

sqlite3數據遷移到mysql會遇到許多語法問題,想要一下列出所有問題會力所不及,本文會盡量多的列出可能會遇到的問題,因爲每個人遇到的問題都不一樣。讀者根據此文可以提前預知是否有自己會面臨到的問題,做到心中有數才能避免或減少遷移數據後會發生意料之外的問題。根據問題列表可以瞭解自己需要解決哪些問題,我這裏同時會給出一個解決方案供大家參考。遷移這個問題不會有一個萬能的方案的,因爲每個人遇到的問題不同,如果一些互相沖突的問題同時存在解決方案中反而就變成了一個問題。

好了,開門見山!

問題列表

1、sqlite3 dump出的各種變量在mysql不識別,如(BEGIN TRANSACTION、COMMIT等等)

2、sqlite數據庫數據無法導出隱藏字段rowid

3、sqlite數據庫數據導出格式與其他數據庫不兼容,如單引號、雙引號問題

4、導出的sqlite數據不帶列名,如下 INSERT INTO protocol VALUES('大類頁(新)', ' ') 。我們可能需要的是 INSERT INTO protocol('text1','text2') VALUES('大類頁(新)', '刷新頁')

5、特殊符號處理,如轉義符 "\"

6、表字段長度限制不一樣

7、數據量寫入效率問題

問題解決

首先不能使用sqliteStudio、Navicat等工具,這裏採用shell命令的方式,直接避免一下內容生成,

    BEGIN TRANSACTION

    COMMIT

    CREATE UNIQUE INDEX

    PRAGMA foreign_keys=OFF

同時使用shell方式可以用很少的代碼量實現。

1、解決字段列名沒有輸出問題

    運行sqlite3命令“ pragma table_info(表名); “得到以下輸出內容

    0|name|TEXT|0||0

    1|description|TEXT|0||0

    再通過字符串替換得到列名,如下:

    假設變量爲 COLS = name,description

2、解決單引號、雙引號問題

    運行sqlite3命令“  .mode insert && .dump 表名“得到如下輸出內容

    INSERT INTO表名VALUES('test',' test');

    INSERT INTO表名VALUES('test','test');

    INSERT INTO表名VALUES('test','test');

    以這種方式可以解決單引號雙引號問題,這裏直接統一輸出單引號

3、解決sqlite3默認字段rowid無法顯示問題,這裏直接將rowid改爲id

    將當前模式設置爲.dump insert 模式

    運行sqlite3命令“ select rowid as id,$COLS from 表名“得到如下輸出

    INSERT INTO表名VALUES(1,'test',' test');

    INSERT INTO表名VALUES(2,'test','test');

    INSERT INTO表名VALUES(3,'test','test');

4、通過shell字符串命令,將之前得到的列名添加到以下sql語句

修改後如下:

    INSERT INTO表名('name',' description')VALUES(1,'test',' test');

    INSERT INTO表名('name',' description')VALUES(2,'test','test');

    INSERT INTO表名('name',' description')VALUES(3,'test','test');

5、轉義符處理

如果數據庫裏的數據存在轉義符,如: {\"lastname\":\\"天津\\"} 。這種數據如果不處理,那麼將數據insert到數據庫時會變成{"lastname":\"天津\"} 。所以需要對轉義符做下處理,用shell命令處理很簡單,如命令:sed 's#\\#\\\\#g'
方案實現

此腳本主要解決了以上1~5問題,根據需要可以對腳本進行修改

 #!/bin/sh
 SQLITE=sqlite3
 if [ -z "$1" ] ; then
   echo usage: $0 sqlite3.db
   exit
 fi
 DB="$1"
 TABLES=`"$SQLITE" "$DB" .tables`
 for TABLE in $TABLES ; do
   CREATE=`"$SQLITE" "$DB" "SELECT sql FROM sqlite_master WHERE type=\"table\" AND name = \"$TABLE\";"`
   echo $CREATE";" |
   cut -d'=' -f2 |
   sed "s/^CREATE TABLE $TABLE (/CREATE TABLE $TABLE (id int auto_increment primary key ,/g"
   COLS=`"$SQLITE" "$DB" "pragma table_info($TABLE)" | cut -d'|' -f2 `
   COLS_CS=`echo $COLS | sed 's/ /,/g'`
   echo ".mode insert \n.header on \n select rowid as id,$COLS_CS from $TABLE;\n" |
   "$SQLITE" "$DB" |
   sed "s/^INSERT INTO \"table\"/INSERT INTO $TABLE /g" |
   sed 's#\\#\\\\#g'
 done

總結

以上就是這篇文章的全部內容了,希望本文的內容對大家的學習或者工作具有一定的參考學習價值,謝謝大家對神馬文庫的支持。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章