原创 與同花順一致的MACD的PYTHON指標代碼

使用TALIB計算macdext 注意TALIB.MACD 和TALIBMACDEXT使用的平均線類型不一樣,同花順使用的是ext 經測試與同花順MACD指標基本相符合,沒必要再造輪子   def macd(close): mac

原创 python爬取京東商品(使用cookies,header,xpath匹配),解決ajax。 後附有selenium模擬訪問抓取網頁方法和視頻演示

###本文提供的代碼只用於學習,請勿用於商業用途  這次沒用正則和BS4,用了XPATH,因爲真的好久好久沒用xpath了。 唯一要主要克服的難點就是京東的ajax加載,直接requests抓網頁只有前30個商品,還要用get請求訪問目標

原创 80%準確率的 lightgbm 框架試用 kaggle桑德蘭銀行目標客戶預測

Santander Customer Transaction Prediction kaggle的一個比賽,試題於  https://www.kaggle.com/c/santander-customer-transaction-pred

原创 lightgbm 使用框架

# coding: utf-8 # pylint: disable = invalid-name, C0111 import json import lightgbm as lgb import pandas as pd from sk

原创 使用python基於上市公司的基本面製作特徵標籤製作企業畫像(用戶畫像)

  首先通過聚寬平臺得到A股上市公司的基本面數據(使用了2018年三季度報),以下是兩段代碼 # -*- coding: utf-8 -*- import numpy as np import pandas as pd def getd

原创 pip豆瓣鏡像

豆瓣:http://pypi.douban.com/simple/ 例如 pip install -i https://pypi.douban.com/simple/ xxx

原创 多線程爬取中超全部2018賽季職業球員

本文旨在得到全部中超職業球員信息,之後可以用於數據分析(如多維度聚類球員類型)或者利用球員名列表對體育新聞分詞,找出曝光度最高或者最低調的球員,亦或者用於開發體育遊戲等等 首先: 繼續爬蟲球探網,該網使用局部加載,真實信息在隱藏URL ,

原创 python BS4 收集上港隊球員賽季表現

from bs4 import BeautifulSoup import requests import pandas as pd url='http://zq.win007.com/cn/team/PlayerData/7642.h

原创 selenium 中 出現'list' object has no attribute 'send_keys'錯誤解決

原先代碼: from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui i

原创 selenium 加header(chrome)

from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import W

原创 對上市公司公告關鍵詞數據分析

前文已經全部爬取上市公司公告,https://blog.csdn.net/qq_37195257/article/details/85015987   # coding: utf-8 #coded by 伊瑪目的門徒 from pyl

原创 多線程爬取新浪財經上市公司要聞

利用PY3 , REQUESTS  BS4 做劃分 THREADPOOL做多線程   import jieba import requests import time from bs4 import BeautifulSoup res

原创 BS4 select 方法取值

# -*- coding: utf-8 -*- import requests from bs4 import BeautifulSoup html=requests.get('http://vip.stock.finance.si

原创 基於某知名招聘網站的上海財務崗位數據分析(含excel可視化)

1.前言:之前博主在學習PYTHON的爬蟲,正好有一個很要好的朋友向我詢問上海財務崗位的招聘信息,便爬取了XX網當時上海財務崗的招聘信息。爬蟲採用了PYTHON2.7。其實博主是很看好PYTHON3.4,無奈相關的包並沒有全方面完美支持,

原创 map和reduce

#map(f,list)def normalize(x,): return x*10 list=[1,2,3,4,5] print map(normalize,list) #reduce(f,list)def normal