作者：數據科學家聯盟
來源：知乎
本文涉及到的知識點
網站分析
爬取流程
代碼講解——數據爬取
import re
from lxml
import etree
from selenium
import webdriver
from selenium.webdriver.chrome.options
import Options
from selenium.webdriver.common.by
import By
from selenium.webdriver.support.ui
import WebDriverWait
from selenium.webdriver.support
import expected_conditions
as EC
import pymongo
def is_contain_chinese(check_str):
"""
判斷字符串中是否包含中文
:param check_str: {str} 需要檢測的字符串
:return: {bool} 包含返回True， 不包含返回False
"""
for ch
in check_str:
if
u'\u4e00' <= ch <=
u'\u9fff':
return
True
return
False
#selenium通過class name判斷元素是否存在，用於判斷基金持倉股票詳情頁中該基金是否有持倉股票；
def is_element(driver,element_class):
try:
WebDriverWait(driver,
2).until(EC.presence_of_element_located((By.CLASS_NAME,element_class)))
except:
return
False
else:
return
True
#requests請求url的方法,處理後返回text文本
def get_one_page(url):
headers = {
'User-Agent':
'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36',
}
proxies = {
"http":
"http://XXX.XXX.XXX.XXX:XXXX"
}
response = requests.get(url,headers=headers,proxies=proxies)
response.encoding =
'utf-8'
if response.status_code ==
200:
return response.text
else:
print(
"請求狀態碼 != 200,url錯誤.")
return
None
#該方法直接將首頁的數據請求、返回、處理，組成持倉信息url和股票名字並存儲到數組中；
def page_url():
stock_url = []
#定義一個數組，存儲基金持倉股票詳情頁面的url
stock_name = []
#定義一個數組，存儲基金的名稱
url =
"http://fund.eastmoney.com/data/rankhandler.aspx?op=ph&dt=kf&ft=all&rs=&gs=0&sc=zzf&st=desc&sd=2018-11-26&ed=2019-11-26&qdii=&tabSubtype=,,,,,&pi=1&pn=10000&dx=1&v=0.234190661250681"
result_text = get_one_page(url)
# print(result_text.replace('\"',',')) #將"替換爲,
# print(result_text.replace('\"',',').split(',')) #以,爲分割
# print(re.findall(r"\d{6}",result_text)) #輸出股票的6位代碼返回數組；
for i
in result_text.replace(
'\"',
',').split(
','):
#將"替換爲,再以,進行分割，遍歷篩選出含有中文的字符(股票的名字)
result_chinese = is_contain_chinese(i)
if result_chinese ==
True:
stock_name.append(i)
for numbers
in re.findall(
r"\d{6}",result_text):
stock_url.append(
"http://fundf10.eastmoney.com/ccmx_%s.html" % (numbers))
#將拼接後的url存入列表；
return stock_url,stock_name
#selenium請求[基金持倉股票詳情頁面url]的方法，爬取基金的持倉股票名稱；
def hold_a_position(url):
driver.get(url)
# 請求基金持倉的信息
element_result = is_element(driver,
"tol")
# 是否存在這個元素，用於判斷是否有持倉信息；
if element_result ==
True:
# 如果有持倉信息則爬取；
wait = WebDriverWait(driver,
3)
# 設置一個等待時間
input = wait.until(EC.presence_of_element_located((By.CLASS_NAME,
'tol')))
# 等待這個class的出現；
ccmx_page = driver.page_source
# 獲取頁面的源碼
ccmx_xpath = etree.HTML(ccmx_page)
# 轉換成成 xpath 格式
ccmx_result = ccmx_xpath.xpath(
"//div[@class='txt_cont']//div[@id='cctable']//div[@class='box'][1]//td[3]//text()")
return ccmx_result
else:
#如果沒有持倉信息，則返回null字符；
return
"null"
if __name__ ==
'__main__':
# 創建連接mongodb數據庫
client = pymongo.MongoClient(host=
'XXX.XXX.XXX.XXX', port=XXXXX)
# 連接mongodb，host是ip，port是端口
db = client.db_spider
# 使用（創建）數據庫
db.authenticate(
"用戶名",
"密碼")
# mongodb的用戶名、密碼連接；
collection = db.tb_stock
# 使用（創建）一個集合（表）
stock_url, stock_name = page_url()
#獲取首頁數據，返回基金url的數組和基金名稱的數組；
#瀏覽器動作
chrome_options = Options()
chrome_options.add_argument(
'--headless')
driver = webdriver.Chrome(options=chrome_options)
#初始化瀏覽器，無瀏覽器界面的；
if len(stock_url) == len(stock_name):
#判斷獲取的基金url和基金名稱數量是否一致
for i
in range(len(stock_url)):
return_result = hold_a_position(stock_url[i])
# 遍歷持倉信息，返回持倉股票的名稱---數組
dic_data = {
'fund_url':stock_url[i],
'fund_name':stock_name[i],
'stock_name':return_result
}
#dic_data 爲組成的字典數據，爲存儲到mongodb中做準備；
print(dic_data)
collection.insert_one(dic_data)
#將dic_data插入mongodb數據庫
else:
print(
"基金url和基金name數組數量不一致，退出。")
exit()
driver.close()
#關閉瀏覽器
#查詢：過濾出非null的數據
find_stock = collection.find({
'stock_name': {
'$ne':
'null'}})
# 查詢 stock_name 不等於 null 的數據（排除那些沒有持倉股票的基金機構）；
for i
in find_stock:
print(i)
代碼講解——數據處理
import pymongo
#一、數據庫：連接庫、使用集合、創建文檔；#
client = pymongo.MongoClient(host=
'XXX.XXX.XXX.XXX',port=XXXXX)
#連接mongodb數據庫
db = client.db_spider
#使用（創建）數據庫
db.authenticate(
"用戶名",
"密碼")
#認證用戶名、密碼
collection = db.tb_stock
#使用（創建）一個集合（表），裏面已經存儲着上面程序爬取的數據了；
tb_result = db.tb_data
#使用（創建）一個集合（表），用於存儲最後處理完畢的數據；
#查詢 stock_name 不等於 null 的數據，即：排除那些沒有持倉股票的基金；
find_stock = collection.find({
'stock_name':{
'$ne':
'null'}})
#二、處理數據，將所有的股票數組累加成一個數組---list_stock_all #
list_stock_all = []
#定義一個數組，存儲所有的股票名稱，包括重複的；
for i
in find_stock:
print(i[
'stock_name'])
#輸出基金的持倉股票（類型爲數組）
list_stock_all = list_stock_all + i[
'stock_name']
#綜合所有的股票數組爲一個數組；
print(
"股票總數：" + str(len(list_stock_all)))
#三、處理數據，股票去重#
list_stock_repetition = []
#定義一個數組，存放去重之後的股票
for n
in list_stock_all:
if n
not
in list_stock_repetition:
#如果不存在
list_stock_repetition.append(n)
#則添加進該數組，去重；
print(
"去重後的股票數量：" + str(len(list_stock_repetition)))
#四、綜合二、三中的得出的兩個數組進行數據篩選#
for u
in list_stock_repetition:
#遍歷去重後股票的數組
if list_stock_all.count(u) >
10:
#在未去重股票的數組中查找股票的重複數，如果重複數大於10
#將數據組成字典，用於存儲到mongodb中；
data_stock = {
"name":u,
"numbers":list_stock_all.count(u)
}
insert_result = tb_result.insert_one(data_stock)
#存儲至mongodb中
print(
"股票名稱：" + u +
" , 重複數：" + str(list_stock_all.count(u)))
{
'_id': ObjectId(
'5e0b5ecc7479db5ac2ec62c9'),
'name':
'水晶光電',
'numbers':
61}
{
'_id': ObjectId(
'5e0b5ecc7479db5ac2ec62ca'),
'name':
'老百姓',
'numbers':
77}
{
'_id': ObjectId(
'5e0b5ecc7479db5ac2ec62cb'),
'name':
'北方華創',
'numbers':
52}
{
'_id': ObjectId(
'5e0b5ecc7479db5ac2ec62cc'),
'name':
'金風科技',
'numbers':
84}
{
'_id': ObjectId(
'5e0b5ecc7479db5ac2ec62cd'),
'name':
'天順風能',
'numbers':
39}
{
'_id': ObjectId(
'5e0b5ecc7479db5ac2ec62ce'),
'name':
'石大勝華',
'numbers':
13}
{
'_id': ObjectId(
'5e0b5ecc7479db5ac2ec62cf'),
'name':
'國投電力',
'numbers':
55}
{
'_id': ObjectId(
'5e0b5ecc7479db5ac2ec62d0'),
'name':
'中國石化',
'numbers':
99}
{
'_id': ObjectId(
'5e0b5ecc7479db5ac2ec62d1'),
'name':
'中國石油',
'numbers':
54}
{
'_id': ObjectId(
'5e0b5ecc7479db5ac2ec62d2'),
'name':
'中國平安',
'numbers':
1517}
{
'_id': ObjectId(
'5e0b5ecc7479db5ac2ec62d3'),
'name':
'貴州茅臺',
'numbers':
1573}
{
'_id': ObjectId(
'5e0b5ecc7479db5ac2ec62d4'),
'name':
'招商銀行',
'numbers':
910}
總結
本文分享自微信公衆號 - 凹凸數據（alltodata）。
如有侵權，請聯繫 [email protected] 刪除。
本文參與“OSC源創計劃”，歡迎正在閱讀的你也加入，一起分享。