原创 sqlalchemy查詢使用
sqlalchemy查詢使用 1.帶條件查詢 查詢是最常用的，對於各種查詢我們必須要十分清楚，首先是帶條件的查詢 #帶條件查詢 rows = session.query(User).filter_by(username='
2020-07-04 02:15:59
原创 streamlit模塊的簡單使用
Streamlit是第一個專門針對機器學習和數據科學團隊的應用 開發框架，它是開發自定義機器學習工具的最快的方法，你可以認爲 它的目標是取代Flask在機器學習項目中的地位，可以幫助機器學習 工程師快速開發用戶交互工具。 在我看來，使用它
2020-07-04 02:15:59
28
原创 讓我們來抓取下鬥魚的直播信息吧！！！
鬥魚是大家常用的直播網站，相信大家也有喜歡的主播，那麼我們今天使用之前提到的xpath方式來將鬥魚的各大主播的房間信息拿到 第一步 ，我們先來分析一下鬥魚，直播分類中的房間信息列表頁接口 覺得今天的MSI不能錯過！！！！！！！！！！
2020-07-04 02:15:59
原创 ip代理池的構建
import urllib.request import urllib.parse import time from multiprocessing import Pool#多進程 import random from lxml
2019-07-30 18:03:32
原创 初識scipy
scipy包含致力於科學計算中常見問題的各個工具箱。它的不同子模塊相應於不同的應用。像插值，積分，優化，圖像處理，統計，特殊函數等等。 scipy可以與其它標準科學計算程序庫進行比較，比如GSL(GNU C或C++科學計算庫)，或者Mat
2019-07-05 17:41:38
1
原创 Python Selenium破解滑塊驗證碼最新版（GEETEST 95%以上通過率）
一、滑塊驗證碼簡述 有爬蟲，自然就有反爬蟲，就像病毒和殺毒軟件一樣，有攻就有防，兩者彼此推進發展。而目前最流行的反爬技術驗證碼，爲了防止爬蟲自動註冊，批量生成垃圾賬號，幾乎所有網站的註冊頁面都會用到驗證碼技術。其實驗證碼的英
2019-06-25 23:14:17
24
原创 反爬蟲判斷方法
1 最簡單的網站反爬蟲方法----根據 User-Agent 判斷是否是爬蟲 1.新建一個 Flask 項目 2.網站對於用戶請求的響應處理，代碼如下： 在默認的 unspider.py 文件中輸入如下代碼 from flask im
2019-06-16 18:24:49
原创 （2019-05-23更新） pycharm最新註冊碼【激活碼】、在線激活 pycharm 完整方法（親測有效）
2019-05-23修改如下： 直接進行激活。如果無法激活，再進行更換hosts。 ———————————————————————————————————— 請進行如下操作： （1） 點擊激活碼網址 無需修改用戶名， 點擊 獲得註冊碼
2019-06-10 19:26:45
原创 K-means算法的原理與實現
K-Means算法的思想很簡單，對於給定的樣本集，按照樣本之間的距離大小，將樣本集劃分爲K個簇。讓簇內的點儘量緊密的連在一起，而讓簇間的距離儘量的大。 如果用數據表達式表示，假設簇劃分爲(C1,C2,...Ck)(C1,C2,..
2019-06-10 19:26:45
原创 使用wordcloud（詞雲）模塊做出文字填充效果
先給大家展示一下效果 要使文字達到這樣的效果 首先對我們的文本信息進行導入 大家自行找一些文字信息，我的是嗶站上某視屏的彈幕信息，如下 接下來就要使我們的彈幕信息形成如圖所示的樣子，這裏就會用到我們的詞雲模塊 代碼如下 import
2019-06-10 19:26:45
1
原创 Python 裏面 copy 和 deepcopy 的區別
deepcopy（深複製），即將被複制對象完全再複製一遍作爲獨立的新個體單獨存在。所以改變原有被複制對象不會對已經複製出來的新對象產生影響。 而等於（=）賦值，並不會產生一個獨立的對象單獨存在，他只是將原有的數據塊打上一個新標籤， 所以當
2019-06-10 19:26:45
原创 python的作用域
python的作用域並不是哪裏都能訪問的，類似於Java，分全局和局部，python變量的作用域大概分爲以下四類： L（local） 局部作用域 E（Enclosing） 閉包函數外的函數中 G（Global） 全局作用域 B（Bu
2019-06-10 19:26:45
原创 numpy下數組的索引
數組的索引與字符串的索引相差不多 arr3 = np.arange(10) print(arr3[:5]) #[0 1 2 3 4] print(arr3[::2])# [0 2 4 6 8] print(arr3[1::2]) #
2019-05-29 20:00:57
原创 對於scrapy框架的一些補充
Item Pipeline 當 Item 在 Spider 中被收集之後，它將會被傳遞到 Item Pipeline，這些 Item Pipeline 組件按定義的順序處理 Item。每個 Item Pipeline 都是實現了簡單方法
2019-05-29 20:00:57
原创 urllib 的異常錯誤處理（總結）
在我們用 urlopen 或 opener.open 方法發出一個請求時，如果 urlopen 或 opener.open 不能處理這個 response，就產生錯誤。 這裏主要說的是 URLError
2019-05-29 20:00:57