最近在根據(http://www.runoob.com/w3cnote/scrapy-detail.html)學習Scrapy時,遇到一個問題:使用scrapy crawl執行爬蟲程序並導入一個json文件,此時可以看到,命令行窗口顯示的保存內容是中文,但在打開導出的json文件時,其內容卻顯示爲以\u開頭的Unicode編碼:
之後查詢相關資料後,發現有兩個解決方法:
-
執行爬蟲命令時,加上
-s FEED_EXPORT_ENCODING=UTF-8
參數
-
在
settings.py
文件中加入FEED_EXPORT_ENCODING='UTF-8'
,這樣在命令行中就不需要加這個參數了,我是採用的這個方法比較簡便
此時再在命令行中運行>scrapy crawl itcast -o teachers.json
,打開json文件,內容如下: