Python 爬蟲踩坑總結

原創 辞树 LingTree 2020-02-20 19:42

坑一： requests 庫的安裝與導入

IDE : Pycharm

需要安裝requests庫。 解決方法： win+r 輸入 cmd。在命令行輸入 : pip install requests。

導入Pycharm（！坑）。之前安裝好了requests庫，但是在Pycharm中依舊無法運行，報錯顯示沒有requests庫。

解決方法：可能是沒有導入該庫。在File - Setting - Project Interpreter 中導入requests庫。如下圖中所示。導入成功之後開始正常啓動運行。

 

踩坑二： request = urllib.request.Request(url)#發送請求
AttributeError: module 'urllib' has no attribute 'request'

新版Python中導入urllib庫，不僅需要 import urllib 還需要添加下列導入

import urllib
import urllib.request as ur

 

辭樹 LingTree
發佈了424 篇原創文章 · 獲贊 102 · 訪問量 9萬+
他的留言板 關注
發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

Python：計算類別分佈CalculateClassDistribution

import numpy as np import pandas as pd from sklearn import datasets from sklearn.ensemble import RandomForestClassifie

DeniuHe 2020-07-08 07:35:14

Python調用matlab 函數

在python中啓動matlab： engine = matlab.engine.start_matlab()   如果輸入的變量X是表格式的數據（n*d），即 ndarray格式，需要進行轉換後再輸入： data_list= matla

DeniuHe 2020-07-08 07:35:11

Python：將sklearn自帶數據轉存爲CSV文件

import numpy as np import pandas as pd from sklearn import datasets X,y = datasets.load_breast_cancer(return_X_y=True

DeniuHe 2020-07-08 07:35:10

Python:一排三個子圖

import matplotlib.pyplot as plt import numpy as np import pandas as pd path1 = r"D:\ExperimentalData\Jain\jain.csv" pa

DeniuHe 2020-07-08 07:35:10

Python : 一排三個子圖（二）

import matplotlib.pyplot as plt import numpy as np import pandas as pd path11 = r"D:\ExperimentalData\Jain\multiCenter

DeniuHe 2020-07-08 07:35:08

Python：New Balanced Active Learning Model and Optimization Algorithm--2018IJCAI

 參考文獻：New Balanced Active Learning Model and Optimization Algorithm--2018IJCAI 原文代碼找了好久沒有找到，至少Github上沒有找到（2020-06-10之前）

DeniuHe 2020-07-08 07:35:07

Python：在python中調用Weka的方法

讓您你們失望了，我啥都沒寫。 提供鏈接 https://blog.csdn.net/weixin_30832351/article/details/94889557

DeniuHe 2020-07-08 07:35:07

Python：兩個ndarray數據進行矩陣乘法

import numpy as np a = np.array([[1,2,3],[1,2,3],[1,2,3]]) # print(a) # print(a ** 2) c = np.array([1,2,3]) b = np.arr

DeniuHe 2020-07-08 07:35:07

Python: numpy.random的使用

import numpy as np print(np.random.random()) 0.7714546557122427    輸出單個0-1之間的隨機數 import numpy as np print(np.random.r

DeniuHe 2020-07-08 07:35:07

Python：相對標準的DPC

import numpy as np import pandas as pd import copy import matplotlib.pyplot as plt from sklearn import datasets from s

DeniuHe 2020-07-08 07:35:07

【Python爬蟲】基本原理和框架

開發者工具介紹 參考：https://blog.csdn.net/m0_37724356/article/details/79884006 右擊網頁-檢查，或者F12，打開網頁開發者工具 get方式將請求的參數包含在url裏面

Mercy92 2020-07-08 10:40:50

【Python 爬蟲】使用友盟API獲取數據

一、需求 每天需要從友盟網站獲取若干應用如下信息 二、實現-分解 1）獲取api祕鑰 #獲取api祕鑰 def authorize(user, pasw): url = 'http://api.umeng.com/aut

Mercy92 2020-07-08 10:40:48

【Python 爬蟲】使用新榜API獲取數據

一、需求 每日獲取新榜網站收藏的微信公衆號對應的【點贊數、排名、頭條閱讀數】 二、實現-分解 1）獲取新榜api 打開並登錄新榜網站-數據服務-數據API 點擊試用即可，到達控制檯，你的賬號就獲得API密鑰，以及2000unit額

Mercy92 2020-07-08 10:40:48

Python爬蟲精簡步驟 HTML基礎（上）

開門見山，HTML的學習可分爲三個層次。 讀懂，修改，編寫。 讀懂：只有讀懂了HTML，才能看得懂網頁結構，纔有可能運用Python的其他模塊去解析數據和提取數據。想寫爬蟲程序一定要先學好HTML基礎。 修改：在讀懂HTML文檔的

Lora鳃鳃 2020-07-07 11:50:32

一個簡單的校園網登錄程序 || 爬蟲+tkinter

僅用於登錄中國礦業大學校園網 可以自動記錄用戶名和密碼,省去二次填寫的麻煩 效果 代碼 import tkinter as tk import requests import re import tkinte

阿腾木 2020-07-07 06:57:17