scrapy框架創建新工程、pycharm、Anaconda3

只是充當一個記事本,忘記的時候回來看一眼,總共畫時3個半點,就是想總結一下我碰到的問題。

遇見的問題

1、鏈接:https://blog.csdn.net/sinat_41898105/article/details/80660332

2、鏈接:https://blog.csdn.net/xiaotao_1/article/details/79828234

3、鏈接:https://blog.csdn.net/qq_37489565/article/details/80692557

最好不要用漢化,用了之後有很多bug,最後用了一天我就換回英文的呢

4、就是環境變量的配置問題,之前安裝Anaconda,跟你自動配置好環境變量,一開始想做數據分析的,結果想轉回python,一團糟,scrapy的環境變量在第五個。

5、鏈接:https://baike.baidu.com/item/anaconda/20407441?fr=aladdin

瞭解一下Anaconda與python的關係

6、選擇Python3.7,沒有自己想要的庫,可以點擊右邊的+號,進行添加相應的庫。你也可以在命令行裏面添加python-ana -m pip install scrapy,下面有圖,之所以用的是python-ana,是因爲python和anaconda的衝突,如果是python,那是python3 -m pip install scrapy,原因鏈接第一個。

下面一張圖片,外部庫顯示是python3.7,換了python3.6,外部庫還是顯示python3.7,所以你在import scrapy的時候會出現找不到這個模塊,所以我換成python3.7,再在命令行中敲python-ana -m pip install scrapy就好用了。

7、鏈接:https://blog.csdn.net/qq_43146036/article/details/85257826

 

好了,現在可以用scrapy框架創建一個爬蟲項目呢。運行也沒有報錯。

1、創建一個moni項目

2、進入moni文件夾,創建baidu爬蟲文件

3、編寫好程序,運行baidu爬蟲項目

4、項目是用Pycharm編寫,運行時是用命令行

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章