聲明
這一段是2020年7月2日加的。在CSDN寫文章只是爲了記錄並分享自己在技術方面的一些想法。文章可以在CSDN內部轉載，但請註明出處；如果需要轉載到其他平臺，請提前聯繫我，徵得同意！
今天發現最近的兩篇文章竟然被盜了！全文照搬！證據如下：
不想表達太多負面情緒。本來就不期待獲取什麼實際的收益。
如果覺得文章對你有幫助，麻煩點個贊~
一、背景
希望根據企業名稱查詢其經緯度，所在的省份、城市等信息。直接將企業名稱傳給百度地圖提供的API，得到的經緯度是非常不準確的，因此希望獲取企業完整的地理位置，這樣傳給API後結果會更加準確。
百度企業信用提供了企業基本信息查詢的功能。希望通過Python爬蟲獲取企業基本信息。目前已基本實現了這一需求。
本文最後會提供具體的代碼。代碼僅供學習參考，希望不要惡意爬取數據！
二、分析
以蘇寧爲例。輸入“江蘇蘇寧”後，查詢結果如下：
經過分析，這裏列示的企業信息是用JavaScript動態生成的。服務器最初傳過來的未經渲染的HTML如下：
注意其中標註出來的JS代碼。有意思的是，企業基本信息都可以直接從這段JS代碼中獲取，無需構造複雜的參數。
這是進一步查看的結果，注意那個“resultList”，後面存放的就是頁面中的企業信息。顯然，利用正則表達式提取需要的字符串，轉換成JSON就可以了。
三、源碼
以下代碼爲查詢某個企業的基本信息提供了API：
#!/usr/bin/env python
# -*- coding:utf-8 -*-
# @Author: Wild Orange
# @Email: [email protected]
# @Date: 2020-06-19 22:38:14
# @Last Modified time: 2020-07-03 10:04:45
import requests
import re
import json
headers={'User-Agent': 'Chrome/76.0.3809.132'}
#正則表達式提取數據
re_get_js=re.compile(r'<script>([\s\S]*?)</script>')
re_resultList=re.compile(r'"resultList":(\[{.+?}\]}])')
has_statement=False
def Get_company_info(name):
'''
@func: 通過百度企業信用查詢企業基本信息
'''
url='https://xin.baidu.com/s?q=%s'%name
res=requests.get(url,headers=headers)
if __check() and res.status_code==200:
html=res.text
retVal=_parse_baidu_company_info(html)
return retVal
else:
print('無法獲取%s的企業信息'%name)
def _parse_baidu_company_info(html):
'''
@function：解析百度企業信用提供的企業基本信息
@output: list of dict, [{},{},...]
pid: 跳轉到具體企業頁面的參數
bid: 具體企業頁面URL中的參數
name: 企業名稱
type: 企業類型
date: 成立日期
address: 地址
person: 法人代表
status: 存續狀態
regCap: 註冊資本
scope: 經營範圍
'''
js=re_get_js.findall(html)[1]
data=re_resultList.search(js)
if not data:
return
compant_list=json.loads(data.group(1))
retVal=[]
for x in compant_list:
regCap=x['regCap'].replace(',','')
if regCap[-1]=='萬':
regCap=regCap[:-1]
regCap=float(regCap)
address=x['domicile'].replace('<em>','').replace('</em>','')
temp_v={'pid':x['pid'],'bid':x['bid'],'name':x['titleName'],'type':x['entType'],'date':x['validityFrom'],\
'address':address,'person':x['legalPerson'],'status':x['openStatus'],'regCap':regCap,\
'scope':x['scope']}
retVal.append(temp_v)
return retVal
def __basic():
statement='/26412/31243/24207/21457/34920/20110/67/83/68/78/65292/26410/21457/34920/20110/\
20854/20182/24179/21488/65281/10/20316/32773/65306/119/105/108/100/95/111/114/97/110/103/\
101/10/20010/20154/20027/39029/65306/104/116/116/112/115/58/47/47/98/108/111/103/46/99/115/\
100/110/46/110/101/116/47/113/113/95/51/53/52/48/56/48/51/48/10/22914/26524/35273/24471/25991/\
31456/26377/24110/21161/65292/27426/36814/28857/20010/36190/126/35874/35874/65281'
info=statement.split('/')[1:]
outVal=''
for x in info:
outVal+=chr(int(x))
return outVal
def __check():
global has_statement
if has_statement is True:
return True
else:
try:
print(__basic()+'\n')
has_statement=True
return True
except Exception as E:
print(b'\xe7\xa8\x8b\xe5\xba\x8f\xe5\xb7\xb2\xe8\xa2\xab\xe5\x88\
\xab\xe4\xba\xba\xe7\xaf\xa1\xe6\x94\xb9\xef\xbc\x81\xe6\xac\
\xa2\xe8\xbf\x8e\xe5\x88\xb0CSDN\xe5\x85\xb3\xe6\xb3\xa8\xe5\
\x8e\x9f\xe4\xbd\x9c\xe8\x80\x85\xef\xbc\x9awild_orange'.decode('utf-8'))
return False
四、使用方法
直接將需要查詢的企業名稱傳入Get_company_info：
res=Get_company_info('江蘇蘇寧')
print(res)
結果：
需要注意的是：
- 返回的是字典構成的數組，每個字典元素代表一家企業的信息。順序與瀏覽器中顯示的順序相同。
- 字典中參數的含義已在_parse_baidu_company_info函數的註釋中說明。
- 程序僅獲取第一頁的信息。如果要查詢多頁，可以修改源碼。
- 程序僅獲取企業的基本信息，沒有進入企業的具體頁面，如：蘇寧物流具體頁面。不過返回結果中的pid或bid應該能用於構造查詢頁面的URL。
最後再次強調：代碼僅供學習參考，希望不要惡意爬取數據！