原创 《Python3網絡爬蟲開發實戰代碼》基本庫使用

urllib模塊：https://nbviewer.jupyter.org/github/DRNTT/Spider/blob/master/ch3/urllib模塊.ipynb request模塊：https://nbviewer

2020-06-09 21:13:48

原创 0x00 基本算法 --- 遞推與遞歸

AcWing 92. 遞歸實現指數型枚舉 定義遞歸，我認爲最重要的是確定遞歸的出口，在這道題中的出口就是當遞歸函數輸入的數等於n時，代表着該分支已經遍歷完所有的n個數。state代表着某個數是否被選中。 遞歸函數中需要確定分支，這

2020-06-09 21:13:48

原创 python selenium爬取QQ空間說說

準備工作 安裝selenium, pyquery, json模塊。 使用的是火狐瀏覽器，所以還要安裝geckodriver, 下載好後，把geckodirver.exe文件放在python.exe同一文件夾下即可。 如果使用chrom

2019-05-14 13:51:16

原创 Ajax爬取微博

根據書上的案例寫的，但是案例太老，所以案例中給的微博地址訪問後，居然打開了移動端的微博頁面，其餘的網絡請求界面，網絡請求迴應的數據大體上跟書上的內容一致，但是如果爬取的是現在的微博網址的話，書上的案例教程搭配不上，所以下面的代碼爬取的

2019-05-13 13:27:36

原创 《Python3網絡爬蟲開發實戰代碼》數據存儲

數據存儲：https://github.com/DRNTT/Spider/blob/master/ch5/數據存儲.ipynb 爬取知乎熱門話題：https://github.com/DRNTT/Spider/blob/master/

2019-05-12 18:47:36 1

原创 《Python3網絡爬蟲開發實戰代碼》Ajax數據爬取

Ajax：https://github.com/DRNTT/Spider/blob/master/ch6/Ajax.ipynb 爬取微博：https://github.com/DRNTT/Spider/blob/master/ch6/

2019-05-12 18:47:36 1

原创 《Python3網絡爬蟲開發實戰代碼》解析庫使用

XPath模塊：https://nbviewer.jupyter.org/github/DRNTT/Spider/blob/master/ch4/XPath.ipynb Beautiful Soup模塊：https://nbviewe

2019-05-08 10:54:13

原创 python爬取貓眼電影排行

完整的代碼如下在這裏：https://nbviewer.jupyter.org/github/DRNTT/Spider/blob/master/ch3/maoyan.py 閒着沒事，把解析html中的正則方法改用了XPath與Beau

2019-05-07 09:42:25

原创 隨筆 2019-05-06

掐指一算，好幾個沒寫博客了，到底多久，不知道管他呢，反正後面等計算機設計大賽出來成績，還要決定要不要考研，一考研，這博客又沒辦法更了，我湊。 看了兩天爬蟲，爬了個貓眼電影榜啥的，靜態網頁還是比較簡單，爬蟲挺有意思的啊，正則是真的牛批，

2019-05-07 09:42:25

原创 優化算法

在神經網絡收斂的計算中，我們一直在使用梯度下降法，但除了梯度下降法，還有很多更加優秀的算法，可以適應更多種情況，從而避免過擬合，未收斂等問題。 動量梯度下降法 具體公式如下。 與梯度下降法不一樣的是學習率α不再是乘於dW(cost函

2018-11-20 09:08:37

原创 預備知識

1、條件獨立性 如果P(X,Y|Z)=P(X|Z)P(Y|Z)，或等價地P(X|Y,Z）=P(X|Z），則稱事件X,Y對於給定事件Z是條件獨立的，也就是說，當Z發生時，X發生與否與Y發生與否是無關的。 記住公式: P(X1X2X3X4

2018-11-14 09:03:42

原创 線性迴歸(Linear Regression)

斯坦福大學 Andrew Ng老師的課程筆記。 假設我們得到一些房價的數據。 這裏的房價與兩個參數有關，一個是房子的面積與房子中臥室的數量。 所以我們設置學習函數h如下: θ表示要學習的參數（權重），x爲提取的數據特徵。這裏x1就

2018-10-26 22:34:10

原创 Python基礎(2)

1、List方法 append() :在list列表末尾添加元素 clear() : 清空list列表中的元素 copy() : 拷貝同一個list引用 count() :計算指定元素出現的次數 extend() : 鏈接兩個lis

2018-10-13 08:26:05

原创 隨筆 2018-09-29

關於一道如何給學生成績分類的題目。 題目是：已知大量的學生成績，統計出處於各個等級的學生人數。 A(90~100), B(80~89), C(70~79), D(60~69), E(0~59)。 用grade[5]數組存放各個等級的學

2018-09-30 08:36:15 1

原创 Python基礎(1)

沒什麼參考價值，只不過記一下我今天學習過的知識。 數值類型 int , float, complex(複數類型), bool。 簡單的數值計算 _ : 存儲上一次計算的結果 // : 兩數相除後的商向下取整 ** : 次方 decim

2018-09-30 08:36:14 1