mysql字符集續3

ySQL移植含有中文的數據 時，很容易出現亂碼問題。很多是在從MySQL4.x向MySQL5.x移植的時候出現。MySQL的缺省字符集是latin1，在使用MySQL4.x 的時候，很多人都是用的latin1字符集。而當使用MySQL5時往往願意使用UTF-8。那麼我們的任務是不是要把數據中的字符從latin1轉爲 UTF-8呢？不是的。

www.bitsCN.net網管博客等你來搏

用一句不大準確，但又比較形象的說法是，在之前的系統中，我們是用latin1保存了使用GB系列字符集（GBK、GB2312等）的漢字。怎麼這樣說呢？

bitsCN.com中國網管聯盟

  bitsCN_com

mysql> show create table test/G
*************************** 1. row 
Table: test
Create Table: CREATE TABLE `test` (
`a` varchar(100) default NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8
1 row in set (0.00 sec)

mysql> show create table testlatin1/G
*************************** 1. row *
Table: testlatin1
Create Table: CREATE TABLE `testlatin1` (
`a` varchar(100) default NULL
) ENGINE=InnoDB DEFAULT CHARSET=latin1
1 row in set (0.01 sec) play.bitsCN.com累了嗎玩一下吧 

字符集是告訴我們，如果沒有特別指定列的字符集，那麼字符類型列的字符集與表的缺省字符集一樣。 feedom.net國內最早的網管網站

 

play.bitsCN.com累了嗎玩一下吧

列的字符集是要告訴MySQL，這裏面保存的字符所使用的字符集是什麼。但到底保存的是什麼字符集的字符，不由MySQL決定，MySQL也不進行檢查。 feedom.net國內最早的網管網站

  bbs.bitsCN.com國內最早的網管論壇

在UTF-8廣泛使用之前，我們使用的漢字都是GB系列的字符集，比如GB2312、GBK、GB18030等等。

bitsCN_net中國網管博客

  play.bitsCN.com累了嗎玩一下吧

在缺省字符集爲latin1的MySQL中，我們通常就把GB字符集的漢字保存到數據庫中， 但是卻告訴MySQL那是latin1字符集。而GB字符集是一個漢字佔兩個字節，latin1是一個字符佔一個字節。也就是說一個GB漢字被當成兩個 latin1字符來保存了。這讓我想起了當初的iso8859_1，也是類似的情況。只要我們保存和讀取時都當作latin1，不進行轉換，然後在顯示時 當作GB字符集，就能夠正確使用。

需要什麼來搜一搜吧so.bitsCN.com

  bitsCN_com

那麼怎麼把latin1保存的漢字正確地導UTF-8字符集的數據庫中呢？ 需要什麼來搜一搜吧so.bitsCN.com

  bitsCN_net中國網管博客

首先，新的數據庫中的列，要使用UTF-8字符集。一種辦法是創建database時指定缺省字符集，這樣在建表時如果不指定字符集則使用database的缺省字符集。 dl.bitsCN.com網管軟件下載

  bitsCN_net中國網管博客

導出的數據要以latin1字符集導出，實際上就是告訴MySQL導出時不做轉換（因爲原有的表都是latin1字符集的）。 bitsCN_com

  bitsCN.com中國網管聯盟

mysqldump出來以後，再用MySQL進行導入時，還要告訴MySQL，當前的數據是gb系列的字符集，比如gbk。這樣，MySQL負責把數據由gbk轉換爲UTF-8，保存到數據庫中。

bbs.bitsCN.com國內最早的網管論壇

  bitsCN_net中國網管博客

如何告訴MySQL導入的SQL是什麼字符集呢，一種方法是用--default-character-set，但有時會起不到實際作用。這是因爲mysqldump出來的文件裏有set names語句。比如： www.bitsCN.net網管博客等你來搏

 

bitsCN_com

head EA192.060913.sql 

-- MySQL dump 10.10
--
-- Host: localhost Database: EA192
-- ----------------------------------
-- Server version 5.0.16-standard-log

/*!40101 SET @OLD_CHARACTER_SET_CLIENT
=@@CHARACTER_SET_CLIENT */;
/*!40101 SET @OLD_CHARACTER_SET_RESULTS
=@@CHARACTER_SET_RESULTS */;
/*!40101 SET @OLD_COLLATION_CONNECTION
=@@COLLATION_CONNECTION */;
/*!40101 SET NAMES latin1 */; play.bitsCN.com累了嗎玩一下吧 

/*! */是MySQL特有有句法，在其他數據庫會被當成註釋忽略掉。/*!後面的40101是表示版本，在4.1.1及以上版才執行該條語句。 bitsCN_net中國網管博客

 

dl.bitsCN.com網管軟件下載

這裏看到有一條SET NAMES latin1。它的一個作用是告訴mysql，客戶端傳過去的數據是latin1字符集。因爲有這樣一條SET NAMES，--default-character-set也就起不到作用了。如果不幸有這樣一條SQL，那麼需要把它去掉或者改成SET NAMES gbk。修改或者刪除的辦法，當數據量比較大的時候，可以用head和tail來配合。比如還是上面的那個文件：

bitsCN_net中國網管博客

  bitsCN.com中國網管聯盟

先用head看一下SET NAMES在第幾行（數一下），上面看到是第10行。 feedom.net國內最早的網管網站

 

www.bitsCN.net網管博客等你來搏

wc -l EA192.060913.sql 
1987 EA192.060913.sql
得到總行數是1987

head -9 EA192.060913.sql > final.sql
brum@brum-laptop:~$ tail -1977 EA192.060913.sql
 >> final.sql 
brum@brum-laptop:~$  

head -9是取前9行，tail -1977是取後1977行，這樣就把第10行隔過去了。 bitsCN_com關注網管是我們的使命

 

bbs.bitsCN.com國內最早的網管論壇

得到final.sql再用MySQL運行時，就可以使用--default-character-set=gbk了。

bbs.bitsCN.com國內最早的網管論壇

 

bitsCN_net中國網管博客

還有一種辦法是mysqldump時使用--set-charset=false，這樣就不會出現SET NAMES了。 play.bitsCN.com累了嗎玩一下吧

 

bitsCN_com

目前爲止，還可能有問題，出在create table的SQL中，比如：

需要什麼來搜一搜吧so.bitsCN.com

  play.bitsCN.com累了嗎玩一下吧

DROP TABLE IF EXISTS `test`;
CREATE TABLE `test` (
`a` varchar(100) default NULL
) ENGINE=InnoDB DEFAULT CHARSET=latin1; bitsCN_net中國網管博客 

這裏仍然有個CHARSET=latin1，它將導致新創建的表的缺省字符集是latin1，而不是我們想要的UTF8。

bitsCN_net中國網管博客

  dl.bitsCN.com網管軟件下載

怎麼辦呢，如果數據量不大的話，可以考慮用編輯器把它去掉或者改成UTF8，如果數據量大的話可以考慮用sed，但可能仍然時間比較長。

bitsCN_com關注網管是我們的使命

 

bbs.bitsCN.com國內最早的網管論壇

還有一種辦法就是mysqldump，使用--create-options=false，不導出表的創建屬性。但如果導出的表的存儲引擎不同的話就有問題了，因爲引擎類型（innodb、myisam等）都被忽略了。 bitsCN.com中國網管聯盟

 

bitsCN_com

此外，mysqldump導出時，不要使用-B，而是直接指定一個database名字，目 的是不出現CREATE DATABASE語句，因爲其中也可能會有缺省字符集的子句，會影響那些未在CREATE TABLE中指定字符集的表。如果你導出的SQL中有CREATE DATABASE，那麼需要注意一下有沒有字符集的子句，如果有的話，也需要修改。

bitsCN.com中國網管聯盟

 

feedom.net國內最早的網管網站

好了，通過上述方法導出或者處理過的導出文件可以使用mysql --default-character-set=gbk來導入了。