oracle導入數據時出現字段過長

今天往oracle中導入數據  出現錯誤說有的字段 超出的最大長度 

那麼出現這種情況第一反應肯定是編碼的問題 網上找來文章分享一下：

 

一、什麼是Oracle字符集

       Oracle字符集是一個字節數據的解釋的符號集合,有大小之分,有相互的包容關係。ORACLE 支持國家語言的體系結構允許你使用本地化語言來存儲，處理，檢索數據。它使數據庫工具，錯誤消息，排序次序，日期，時間，貨幣，數字，和日曆自動適應本地化語言和平臺。

影響Oracle數據庫字符集最重要的參數是NLS_LANG參數。

它的格式如下: NLS_LANG = language_territory.charset

它有三個組成部分(語言、地域和字符集)，每個成分控制了NLS子集的特性。

其中:

Language： 指定服務器消息的語言， 影響提示信息是中文還是英文

Territory： 指定服務器的日期和數字格式，

Charset：指定字符集。

如:AMERICAN _ AMERICA. ZHS16GBK

從NLS_LANG的組成我們可以看出，真正影響數據庫字符集的其實是第三部分。

所以兩個數據庫之間的字符集只要第三部分一樣就可以相互導入導出數據，前面影響的只是提示信息是中文還是英文。

二．字符集的相關知識：

2.1 字符集
    實質就是按照一定的字符編碼方案，對一組特定的符號，分別賦予不同數值編碼的集合。Oracle數據庫最早支持的編碼方案是US7ASCII。
    Oracle的字符集命名遵循以下命名規則:
   <Language><bit size><encoding>
    即: <語言><比特位數><編碼>
    比如: ZHS16GBK表示採用GBK編碼格式、16位（兩個字節）簡體中文字符集 
  
2.2 字符編碼方案

2.2.1單字節編碼
    （1）單字節7位字符集，可以定義128個字符，最常用的字符集爲US7ASCII
    （2）單字節8位字符集，可以定義256個字符，適合於歐洲大部分國家
             例如：WE8ISO8859P1(西歐、8位、ISO標準8859P1編碼)

2.2.2多字節編碼
    （1）變長多字節編碼
    某些字符用一個字節表示，其它字符用兩個或多個字符表示，變長多字節編碼常用於對亞洲語言的支持，   例如日語、漢語、印地語等
    例如：AL32UTF8（其中AL代表ALL,指適用於所有語言）、zhs16cgb231280
    （2）定長多字節編碼
    每一個字符都使用固定長度字節的編碼方案，目前oracle唯一支持的定長多字節編碼是AF16UTF16，也是僅用於國家字符集

2.2.3 unicode編碼
    Unicode是一個涵蓋了目前全世界使用的所有已知字符的單一編碼方案，也就是說Unicode爲每一個字符提供唯一的編碼。UTF-16是unicode的16位編碼方式，是一種定長多字節編碼，用2個字節表示一個unicode字符，AF16UTF16是UTF-16編碼字符集。
   UTF-8是unicode的8位編碼方式，是一種變長多字節編碼，這種編碼可以用1、2、3個字節表示一個unicode字符，AL32UTF8，UTF8、UTFE是UTF-8編碼字符集 
  
2.3 字符集超級
    當一種字符集（字符集A）的編碼數值包含所有另一種字符集（字符集B）的編碼數值，並且兩種字符集相同編碼數值代表相同的字符時，則字符集A是字符集B的超級，或稱字符集B是字符集A的子集。
    Oracle8i和oracle9i官方文檔資料中備有子集-超級對照表（subset-superset pairs），例如：WE8ISO8859P1是WE8MSWIN1252的子集。由於US7ASCII是最早的Oracle數據庫編碼格式，因此有許多字符集是US7ASCII的超集，例如WE8ISO8859P1、ZHS16CGB231280、ZHS16GBK都是US7ASCII的超集。 
  
2.4 數據庫字符集（oracle服務器端字符集）
    數據庫字符集在創建數據庫時指定，在創建後通常不能更改。在創建數據庫時，可以指定字符集(CHARACTER SET)和國家字符集(NATIONAL CHARACTER SET)。

2.4.1字符集
    (1)用來存儲CHAR, VARCHAR2, CLOB, LONG等類型數據
    (2)用來標示諸如表名、列名以及PL/SQL變量等
    (3)用來存儲SQL和PL/SQL程序單元等

2.4.2國家字符集：
    (1)用以存儲NCHAR, NVARCHAR2, NCLOB等類型數據
    (2)國家字符集實質上是爲oracle選擇的附加字符集，主要作用是爲了增強oracle的字符處理能力，因爲NCHAR數據類型可以提供對亞洲使用定長多字節編碼的支持，而數據庫字符集則不能。國家字符集在oracle9i中進行了重新定義，只能在unicode編碼中的AF16UTF16和UTF8中選擇，默認值是AF16UTF16

2.4.3查詢字符集參數
    可以查詢以下數據字典或視圖查看字符集設置情況
    nls_database_parameters、props$、v$nls_parameters
    查詢結果中NLS_CHARACTERSET表示字符集，NLS_NCHAR_CHARACTERSET表示國家字符集

2.4.4修改數據庫字符集
    按照上文所說，數據庫字符集在創建後原則上不能更改。不過有2種方法可行。

1. 如果需要修改字符集，通常需要導出數據庫數據，重建數據庫，再導入數據庫數據的方式來轉換。

2. 通過ALTER DATABASE CHARACTER SET語句修改字符集，但創建數據庫後修改字符集是有限制的，只有新的字符集是當前字符集的超集時才能修改數據庫字符集，例如UTF8是US7ASCII的超集，修改數據庫字符集可使用ALTER DATABASE CHARACTER SET UTF8。 
  
2.5 客戶端字符集（NLS_LANG參數）

2.5.1客戶端字符集含義
    客戶端字符集定義了客戶端字符數據的編碼方式，任何發自或發往客戶端的字符數據均使用客戶端定義的字符集編碼,客戶端可以看作是能與數據庫直接連接的各種應用，例如sqlplus,exp/imp等。客戶端字符集是通過設置NLS_LANG參數來設定的。

2.5.2 NLS_LANG參數格式
    NLS_LANG=<language>_<territory>.<client character set> 
    Language: 顯示oracle消息,校驗，日期命名
    Territory：指定默認日期、數字、貨幣等格式
    Client character set：指定客戶端將使用的字符集
    例如：NLS_LANG=AMERICAN_AMERICA.US7ASCII 
    AMERICAN是語言，AMERICA是地區，US7ASCII是客戶端字符集

2.5.3客戶端字符集設置方法
     1)UNIX環境
         $NLS_LANG=“simplified chinese”_china.zhs16gbk
         $export NLS_LANG
         編輯oracle用戶的profile文件
    2)Windows環境
         編輯註冊表
         Regedit.exe ---》 HKEY_LOCAL_MACHINE ---》SOFTWARE ---》 ORACLE--》HOME

2.5.4 NLS參數查詢
    Oracle提供若干NLS參數定製數據庫和用戶機以適應本地格式，例如有NLS_LANGUAGE,NLS_DATE_FORMAT,NLS_CALENDER等，可以通過查詢以下數據字典或v$視圖查看。
NLS_DATABASE_PARAMETERS:顯示數據庫當前NLS參數取值，包括數據庫字符集取值
NLS_SESSION_PARAMETERS：  顯示由NLS_LANG 設置的參數，或經過alter session 改變後的參數值（不包括由NLS_LANG 設置的客戶端字符集）
NLS_INSTANCE_PARAMETE： 顯示由參數文件init<SID>.ora 定義的參數

V$NLS_PARAMETERS：顯示數據庫當前NLS參數取值

2.5.5修改NLS參數
    使用下列方法可以修改NLS參數
    （1）修改實例啓動時使用的初始化參數文件
    （2）修改環境變量NLS_LANG
    （3）使用ALTER SESSION語句，在oracle會話中修改
    （4）使用某些SQL函數
    NLS作用優先級別：Sql function > alter session > 環境變量或註冊表 > 參數文件 > 數據庫默認參數

三．EXP/IMP 與字符集

3.1 EXP/IMP
    Export 和 Import 是一對讀寫Oracle數據的工具。Export 將 Oracle 數據庫中的數據輸出到操作系統文件中, Import 把這些文件中的數據讀到Oracle 數據庫中，由於使用exp/imp進行數據遷移時，數據從源數據庫到目標數據庫的過程中有四個環節涉及到字符集，如果這四個環節的字符集不一致，將會發生字符集轉換。 
EXP
     ____________ _________________ _____________
     |imp導入文件|<-|環境變量NLS_LANG|<-|數據庫字符集|
      ------------   -----------------   -------------

IMP 
     ____________ _________________ _____________
     |imp導入文件|->|環境變量NLS_LANG|->|數據庫字符集|
      ------------   -----------------   -------------

四個字符集是
   （1）源數據庫字符集 
   （2）Export過程中用戶會話字符集（通過NLS_LANG設定）
   （3）Import過程中用戶會話字符集（通過NLS_LANG設定）
   （4）目標數據庫字符集 
  
3.2導出的轉換過程
    在Export過程中，如果源數據庫字符集與Export用戶會話字符集不一致，會發生字符集轉換，並在導出文件的頭部幾個字節中存儲Export用戶會話字符集的ID號。在這個轉換過程中可能發生數據的丟失。

例:如果源數據庫使用ZHS16GBK，而Export用戶會話字符集使用US7ASCII，由於ZHS16GBK是16位字符集,而US7ASCII是7位字符集，這個轉換過程中，中文字符在US7ASCII中不能夠找到對等的字符，所以所有中文字符都會丟失而變成“?? ”形式，這樣轉換後生成的Dmp文件已經發生了數據丟失。
因此如果想正確導出源數據庫數據，則Export過程中用戶會話字符集應等於源數據庫字符集或是源數據庫字符集的超集 
  
3.3導入的轉換過程
    （1）確定導出數據庫字符集環境
             通過讀取導出文件頭，可以獲得導出文件的字符集設置
    （2）確定導入session的字符集，即導入Session使用的NLS_LANG環境變量
    （3）IMP讀取導出文件
             讀取導出文件字符集ID，和導入進程的NLS_LANG進行比較
    （4）如果導出文件字符集和導入Session字符集相同，那麼在這一步驟內就不需要轉換，             如果不同，就需要把數據轉換爲導入Session使用的字符集。可以看出，導入數據到數據庫過程中發生兩次字符集轉換

    第一次:導入文件字符集與導入Session使用的字符集之間的轉換，如果這個轉換過程不能正確完成，Import向目標數據庫的導入過程也就不能完成。
    第二次:導入Session字符集與數據庫字符集之間的轉換。

四. 查看數據庫字符集

涉及三方面的字符集，

1. oracel server端的字符集;

2. oracle client端的字符集;

3. dmp文件的字符集。

在做數據導入的時候，需要這三個字符集都一致才能正確導入。

4.1 查詢oracle server端的字符集

有很多種方法可以查出oracle server端的字符集，比較直觀的查詢方法是以下這種:

SQL> select userenv('language') from dual;

USERENV('LANGUAGE')

----------------------------------------------------

SIMPLIFIED CHINESE_CHINA.ZHS16GBK

SQL>select userenv(‘language’) from dual;

AMERICAN _ AMERICA. ZHS16GBK

4.2 如何查詢dmp文件的字符集

用oracle的exp工具導出的dmp文件也包含了字符集信息，dmp文件的第2和第3個字節記錄了dmp文件的字符集。如果dmp文件不大，比如只有幾M或幾十M，可以用UltraEdit打開(16進制方式)，看第2第3個字節的內容，如0354，然後用以下SQL查出它對應的字符集:

SQL> select nls_charset_name(to_number('0354','xxxx')) from dual;

ZHS16GBK

如果dmp文件很大，比如有2G以上(這也是最常見的情況)，用文本編輯器打開很慢或者完全打不開，可以用以下命令(在unix主機上):

cat exp.dmp |od -x|head -1|awk '{print $2 $3}'|cut -c 3-6

然後用上述SQL也可以得到它對應的字符集。

4.3 查詢oracle client端的字符集

在windows平臺下，就是註冊表裏面相應OracleHome的NLS_LANG。還可以在dos窗口裏面自己設置，

比如: set nls_lang=AMERICAN_AMERICA.ZHS16GBK

這樣就隻影響這個窗口裏面的環境變量。

在unix平臺下，就是環境變量NLS_LANG。

$echo $NLS_LANG

AMERICAN_AMERICA.ZHS16GBK

如果檢查的結果發現server端與client端字符集不一致，請統一修改爲同server端相同的字符集。

補充：

(1).數據庫服務器字符集

select * from nls_database_parameters

來源於props$，是表示數據庫的字符集。

(2).客戶端字符集環境

select * from nls_instance_parameters

其來源於v$parameter，表示客戶端的字符集的設置，可能是參數文件，環境變量或者是註冊表

(3).會話字符集環境

select * from nls_session_parameters

來源於v$nls_parameters，表示會話自己的設置，可能是會話的環境變量或者是alter session完成，如果會話沒有特殊的設置，將與nls_instance_parameters一致。

(4).客戶端的字符集要求與服務器一致，才能正確顯示數據庫的非Ascii字符。

如果多個設置存在的時候，NLS作用優先級別：Sql function > alter session > 環境變量或註冊表 > 參數文件 > 數據庫默認參數

字符集要求一致，但是語言設置卻可以不同，語言設置建議用英文。如字符集是zhs16gbk，則nls_lang可以是American_America.zhs16gbk。

五．修改oracle的字符集

按照上文所說，數據庫字符集在創建後原則上不能更改。因此，在設計和安裝之初考慮使用哪一種字符集十分重要。對數據庫server而言，錯誤的修改字符集將會導致很多不可測的後果，可能會嚴重影響數據庫的正常運行，所以在修改之前一定要確認兩種字符集是否存在子集和超集的關係。一般來說，除非萬不得已，我們不建議修改oracle數據庫server端的字符集。特別說明，我們最常用的兩種字符集ZHS16GBK和ZHS16CGB231280之間不存在子集和超集關係，因此理論上講這兩種字符集之間的相互轉換不受支持。

不過修改字符集有2種方法可行。

1. 通常需要導出數據庫數據，重建數據庫，再導入數據庫數據的方式來轉換。

2. 通過ALTER DATABASE CHARACTER SET語句修改字符集，但創建數據庫後修改字符集是有限制的，只有新的字符集是當前字符集的超集時才能修改數據庫字符集，例如UTF8是US7ASCII的超集，修改數據庫字符集可使用ALTER DATABASE CHARACTER SET UTF8。 

5.1 修改server端字符集(不建議使用)

1.       關閉數據庫

SQL>SHUTDOWN IMMEDIATE

2. 啓動到Mount

SQL>STARTUP MOUNT;

SQL>ALTER SYSTEM ENABLE RESTRICTED SESSION;

SQL>ALTER SYSTEM SET JOB_QUEUE_PROCESSES=0;

SQL>ALTER SYSTEM SET AQ_TM_PROCESSES=0;

SQL>ALTER DATABASE OPEN;

--這裏可以從父集到子集

SQL>ALTER DATABASE CHARACTER SET ZHS16GBK;

SQL>ALTER DATABASE NATIONAL CHARACTER SET AL16UTF16;

--如果是從子集到父集，需要使用INTERNAL_USE 參數，跳過超子集檢測

SQL>ALTER DATABASE CHARACTER SET INTERNAL_USE AL32UTF8;

SQL>ALTER DATABASE NATIONAL CHARACTER SET INTERNAL_USE AL16UTF16;

SQL>SHUTDOWN IMMEDIATE;

SQL>STARTUP

注意：如果沒有大對象，在使用過程中進行語言轉換沒有什麼影響，（切記設定的字符集必須是ORACLE支持，不然不能start） 按上面的做法就可以。

若出現‘ORA-12717: Cannot ALTER DATABASE NATIONAL CHARACTER SET when NCLOB data exists’ 這樣的提示信息，

要解決這個問題有兩種方法

1. 利用INTERNAL_USE 關鍵字修改區域設置,

2. 利用re-create,但是re-create有點複雜,所以請用internal_use

SQL>SHUTDOWN IMMEDIATE;

SQL>STARTUP MOUNT EXCLUSIVE;

SQL>ALTER SYSTEM ENABLE RESTRICTED SESSION;

SQL>ALTER SYSTEM SET JOB_QUEUE_PROCESSES=0;

SQL>ALTER SYSTEM SET AQ_TM_PROCESSES=0;

SQL>ALTER DATABASE OPEN;

SQL>ALTER DATABASE NATIONAL CHARACTER SET INTERNAL_USE UTF8;

SQL>SHUTDOWN immediate;

SQL>startup;

如果按上面的做法做,National charset的區域設置就沒有問題

5.2 修改dmp文件字符集

上文說過，dmp文件的第2第3字節記錄了字符集信息，因此直接修改dmp文件的第2第3字節的內容就可以‘騙’過oracle的檢查。這樣做理論上也僅是從子集到超集可以修改，但很多情況下在沒有子集和超集關係的情況下也可以修改，我們常用的一些字符集，如US7ASCII，WE8ISO8859P1，ZHS16CGB231280，ZHS16GBK基本都可以改。因爲改的只是dmp文件，所以影響不大。

具體的修改方法比較多，最簡單的就是直接用UltraEdit修改dmp文件的第2和第3個字節。

比如想將dmp文件的字符集改爲ZHS16GBK，可以用以下SQL查出該種字符集對應的16進制代碼: SQL> select to_char(nls_charset_id('ZHS16GBK'), 'xxxx') from dual;

0354

然後將dmp文件的2、3字節修改爲0354即可。

如果dmp文件很大，用ue無法打開，就需要用程序的方法了。

5.3客戶端字符集設置方法
     1)UNIX環境
         $NLS_LANG=“simplified chinese”_china.zhs16gbk
         $export NLS_LANG
         編輯oracle用戶的profile文件
    2)Windows環境
         編輯註冊表
         Regedit.exe ---》 HKEY_LOCAL_MACHINE ---》SOFTWARE ---》 ORACLE--》HOME

  或者在窗口設置：

        set nls_lang=AMERICAN_AMERICA.ZHS16GBK