原创 在循環中啓動scrapy爬蟲

最近在做一個ai推薦明星項目,首先需要進行數據的收集所以這些天都在着手爬蟲其中需要我完善師兄爬的數據,自己爬百度百科去完善數據庫裏的詞條在啓動爬蟲的時候碰到一個問題需要我遍歷表單,提取明星名、作品名分別更改爬蟲關鍵詞啓動爬蟲→收集數據但是碰

原创 爬蟲入門(一)——靜態網頁爬取:批量獲取高清壁紙

應老師分的方向,昨天開始自學入門爬蟲了 雖然實現了一個比較簡單的小爬蟲,自己還是非常興奮的,還是第一次實現  真的好開心 本來想爬pexel上的壁紙,然而發現對方的網頁不知道設置了什麼,反正有反爬蟲機制,用python訪問直接Fobbide

原创 5月開衝!!!

五月開衝!! 夏天來啦!!! 進入深度學習的階段了,激動動 今天開始每天會更一篇博文,記錄自己今天所學的東西 在家裏也不能頹廢啊啊!!!!! 開衝開衝!!

原创 2019 數學建模回憶

離參加華爲杯數學建模有好些時間了 今天決定好好寫一下隨筆記錄第一次參加建模比賽 具體題目以及記不起來了,就當寫日記簡簡單單地記錄一下心境吧 好多事情,總覺得看起來很難搞,但是去做了覺得還好吧   報名了參加以後,一個月總是上課心不在焉的 把

原创 Matlab入門:實現簡單的數據剔除

時間倉促,僅爲了數學建模入門使用 代碼簡單描述: 隨機生成一組數據 手動添加奇怪的數據值 使用數據判斷對數據進行清洗 生成直方圖、求平均值對處理前、處理後的數據進行對比 代碼如下: 1 >> aa=randn(1000,1)/10;

原创 新學期開始啦!

得像對待考研一樣認真地對待新學期的學習,要有緊張感所有的東西都來之不易開學了更要有儀式感和端正的態度預速則不達,但是心態要端正一定要認真啊!珍惜研究生的3年花家裏的錢讀的書,一定要珍惜。 讀研究生是進入了一個新的人生階段,我應該在心態上比起

原创 北影聽大數據論壇後的一些所得和雜思

上週五應導師推薦去了北影聽大數據論壇,主要是講大數據在影視方面所研究和即將研究的一些內容和目標。在場來了的人基本都是行內的專家、教授和一些研究員。 有的教授的發言太高深,有一個說的是什麼計量電影學的理論方法應用(偏電影方向的俺基本都聽不懂)

原创 爬蟲入門(四)——Scrapy框架入門:使用Scrapy框架爬取全書網小說數據

爲了入門scrapy框架,昨天寫了一個爬取靜態小說網站的小程序 下面我們嘗試爬取全書網中網遊動漫類小說的書籍信息。 一、準備階段 明確一下爬蟲頁面分析的思路: 對於書籍列表頁:我們需要知道打開單本書籍的地址、以及獲取點開下一頁書籍列表頁的

原创 爬蟲入門(三)——動態網頁爬取:爬取pexel上的圖片

Pexel上有大量精美的圖片,沒事總想看看有什麼好看的自己保存到電腦裏可能會很有用 但是一個一個保存當然太麻煩了 所以不如我們寫個爬蟲吧(๑•̀ㅂ•́)و✧ 一開始學習爬蟲的時候希望爬取pexel上的壁紙,然而自己當時不會 上週好不容易搞出