Python爬取商家聯繫電話以及各種數據的方法

今天小編就爲大家分享一篇Python爬取商家聯繫電話以及各種數據的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧

上次學會了爬取圖片，這次就想着試試爬取商家的聯繫電話，當然，這裏純屬個人技術學習，爬取過後及時刪除，不得用於其它違法用途，一切後果自負。

首先我學習時用的是114黃頁數據。

下面四個是用到的模塊，前面2個需要安裝一下，後面2個是python自帶的。

import requests
from bs4 import BeautifulSoup
import csv
import time

然後，寫個函數獲取到頁面種想要的數據，記得最後的return返回一下，因爲下面的函數要到把數據寫到csv裏面。

def get_content(url,data=None):
 header = {
  'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
  'Accept-Encoding': 'gzip, deflate',
  'Accept-Language': 'zh-CN,zh;q=0.8',
  'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.104 Safari/537.36',
 }
 r = requests.get(url, headers=header)
 soup = BeautifulSoup(r.content, 'html.parser')
 data = soup.body.find('div',{'id':'news_con'})
 ul = data.find('ul')
 lis = ul.find_all('li')
 pthons=[]

 for item in lis:
  rows=[]
  name= item.find('h4').string
  rows.append(name)
  tel = item.find_all("div")[2].string
  rows.append(tel)
  pthons.append(rows)
  time.sleep(1)
 return pthons

接着：把數據寫到表格裏面。我這裏用到的是csv,方便閱覽。

def write_data(data,name):
 file_name=name
 with open(file_name, "w", newline='') as csvfile:
  writer = csv.writer(csvfile)
  writer.writerow(["商鋪名稱", "聯繫電話"])
  writer.writerows(data)
  print('抓取完成')

最後就是執行這些函數：

if __name__ == '__main__':
 url = 'http://ty.114chn.com/CustomerInfo/Customers?cid=008004008&page=2'
 mydata = get_content(url)
 write_data(mydata,'phone.csv')

在這裏我想到應該把url寫成動態的，因爲這裏面有頁數。讓page寫成循環自動+1，當然，可以在網頁看到一共多少頁。寫個循環執行。就更完美了。

以上這篇Python爬取商家聯繫電話以及各種數據的方法就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持神馬文庫。