只是充當一個記事本,忘記的時候回來看一眼,總共畫時3個半點,就是想總結一下我碰到的問題。
遇見的問題
1、鏈接:https://blog.csdn.net/sinat_41898105/article/details/80660332
2、鏈接:https://blog.csdn.net/xiaotao_1/article/details/79828234
3、鏈接:https://blog.csdn.net/qq_37489565/article/details/80692557
最好不要用漢化,用了之後有很多bug,最後用了一天我就換回英文的呢
4、就是環境變量的配置問題,之前安裝Anaconda,跟你自動配置好環境變量,一開始想做數據分析的,結果想轉回python,一團糟,scrapy的環境變量在第五個。
5、鏈接:https://baike.baidu.com/item/anaconda/20407441?fr=aladdin
瞭解一下Anaconda與python的關係
6、選擇Python3.7,沒有自己想要的庫,可以點擊右邊的+號,進行添加相應的庫。你也可以在命令行裏面添加python-ana -m pip install scrapy,下面有圖,之所以用的是python-ana,是因爲python和anaconda的衝突,如果是python,那是python3 -m pip install scrapy,原因鏈接第一個。
下面一張圖片,外部庫顯示是python3.7,換了python3.6,外部庫還是顯示python3.7,所以你在import scrapy的時候會出現找不到這個模塊,所以我換成python3.7,再在命令行中敲python-ana -m pip install scrapy就好用了。
7、鏈接:https://blog.csdn.net/qq_43146036/article/details/85257826
好了,現在可以用scrapy框架創建一個爬蟲項目呢。運行也沒有報錯。
1、創建一個moni項目
2、進入moni文件夾,創建baidu爬蟲文件
3、編寫好程序,運行baidu爬蟲項目
4、項目是用Pycharm編寫,運行時是用命令行