python爬蟲網站接口的使用——將網頁上的輸入內容的接口轉移到對應的爬蟲中（通過爬蟲查詢相關網頁的信息）

python爬蟲網站接口的使用

• 網站任何輸入的對話框，都對應着相關的接口
• 找到接口對應的關鍵字，就可以使用爬蟲輸入關鍵字進行操作了

通過ip38網站實現爬蟲查詢ip歸屬地

• 登陸相關的網址，隨便查詢一個項目，通過網址變化，獲取對應接口的關鍵字
  
• 如上圖，就是獲取相關的ip38網站的查詢ip歸屬地的接口關鍵字
• 將關鍵字包含關鍵字的網址全部複製，作爲url來使用

代碼如下

def getIPpalce(value):
    url = "https://www.ip38.com/ip.php?ip="
    r = requests.get(url,params=value)
    r.raise_for_status()
    return r.text[1500:]

通過爬蟲實現輸入字搜索

• 自己打開對應的網站，隨便輸入關鍵詞，從返回的網址就可直接看出
• 如搜狗的，就是query ：關鍵字
  
• 百度的，就是 wd：關鍵字
  
• bling的，就是q ：關鍵字
  

在request庫中的get函數中的url參數中，根據搜索引擎的關鍵字接口，添加關鍵字

• 調用requests庫的get函數
• requests.get(url,params = None,**kwargs)
  • url:擬獲取的頁面的url連接
  • params：url中的額外的參數，將字典或者是字節流的格式，按照對應的方式加到url後部
• kwargs控制訪問參數

代碼：

    kv = {'wd':'關鍵字'}
    r = requests.get("https://www.baidu.com/",params=kv)
    print(r.status_code)

• 注意會將中文轉換成別的字符碼，不會直接顯示中文
  

分析與總結

• 任何的網站上要求輸入的對話框，都會反映在網址變化中。在網址上，早多對應的接口關鍵字，就可以在網址中直接輸入對應的關鍵字
  • 如，百度要求你輸入關鍵字搜索的時候，在網址上的變化是出現wd + 關鍵字
  • 再如：上面舉的關於確定ip地址的例子，在網址上加上對應的搜索關鍵字。