Python爬蟲——Python編碼庫chardet

在處理字符串時，常常會遇到不知道字符串是何種編碼，如果不知道字符串的編碼就不能將字符串轉換成需要的編碼。面對多種不同編碼的輸入方式，是否會有一種有效的編碼方式？chardet是一個非常優秀的編碼識別模塊。

 

chardet 是python的第三方庫，需要下載和安裝。下載的地址有：

官方地址： http://pypi.python.org/pypi/chardet

如果採用源代碼安裝方法，有可能會提示缺少setuptools這個模塊。因此這裏我們採用另外一種更爲方便的安裝方法，不論你選擇哪種安裝包，將它解壓得到其中的文件夾【chardet】將這個文件夾複製到【python安裝根目錄\Lib\site-packages】下，確保這個位置可以被python引用到。如果不能被引用到請加入環境變量。

 

在安裝完chardet模塊，我就可以使用它了，來看一段示例代碼。

import chardet  
import urllib  
  
#可根據需要，選擇不同的數據  
TestData = urllib.urlopen('http://www.baidu.com/').read()  
print chardet.detect(TestData)  
  
運行結果：  
{'confidence': 0.99, 'encoding': 'GB2312'}  

運行結果表示有99%的概率認爲這段代碼是GB2312編碼方式。

 

另外一個相對高級的應用。

import urllib  
from chardet.universaldetector import UniversalDetector  
usock = urllib.urlopen('http://www.baidu.com/')  
#創建一個檢測對象  
detector = UniversalDetector()  
for line in usock.readlines():  
    #分塊進行測試，直到達到閾值  
    detector.feed(line)  
    if detector.done: break  
 #關閉檢測對象  
 detector.close()  
 usock.close()  
 #輸出檢測結果  
 print detector.result  
   
 運行結果：  
 {'confidence': 0.99, 'encoding': 'GB2312'}  

應用背景，如果要對一個大文件進行編碼識別，使用這種高級的方法，可以只讀一部，去判別編碼方式從而提高檢測速