原创 python爬蟲之爬取《書趣閣》小說教學

前言: 這次的爬蟲難度係數不大,相對於我上次講解的課程了來說有很好的驗證和過度的效果,但是卻有幾個較新的知識點。包含文本解碼,封裝方法,寫入txt,鏈接拼接等等,這也是我選擇《書趣閣小說》來教學的原因。特別是實現它的邏輯,可以用

原创 數據分析入門之Numpy 矩陣與通用函數

文章目錄1、創建Numpy矩陣1.1、創建與組合矩陣1.1.1、使用mat函數創建矩陣1.1.2、使用matrix函數創建矩陣1.1.3、使用bmat函數合成矩陣1.2、矩陣的運算1.2.1、舉證運算1.3、矩陣特有屬性2、認識u

原创 數據分析入門之好萊塢百萬級評論數據分析

文章目錄1、數據的加載與集成1.1、導入相關的包1.2、導入數據1.2.1、讀取用戶數據1.2.2、讀取電影數據1.2.3、讀取評分數據1.3、數據合併1.4、查看數據1.4.1、查看數據形狀1.4.2、查看前5行1.4.3、查看

原创 python爬取美團評論做詞雲分析

前言: 這是一個幫忙做的畢業論文設計相關的爬蟲,爬取美團的評論後,進行詞雲分析,倒是不復雜,我花半個小時寫好了爬蟲相關的代碼,然後又花了近兩個小時錄製了教程視頻,如果大家想看的話,等我到學校有網絡了,可以發給大家學習,這個視頻由

原创 圖像處理之opencv圖像美化

文章目錄1、繪製圖片RGB直方圖1.1、彩色圖片1.1.1、cv2.calcHist()方法1.1.2、數組法1.2、灰色圖片2、直方圖均衡化2.1、灰度圖片均衡化2.2、彩色圖片均衡化2.3、YUV均衡化3、圖片修補3.1、圖片

原创 python爬蟲爬取微博之戰疫情用戶評論及詳情

文章目錄1、爬取具體動態的內容及評論1.1、分析網頁1.1.1、檢查網頁1.1.2、元素點位1.1.3、下拉加載1.2、如何爬取下拉加載的信息1.2.1、方法一:抓包1.2.2、方法二: selenium庫1.2.2.1、對sel

原创 python you-get爬取bilibili視頻當教程

拿着電腦,最怕的就是沒有網絡了,想學習什麼都不方便,就只能拿它來防身了。當嗶哩嗶哩作爲一個免費超級學習網站,上面的教程簡直是太棒了,何不把上面的視頻下載下來做爲教程了,這樣害怕沒有學習資源嗎?找個網好的地方,一起來爲沒有網絡做準

原创 圖像處理之opencv圖片幾何變化操作大全

文章目錄1、opencv讀取圖片2、opencv保存圖片3、圖像質量壓縮3.1、有損壓縮——jpg格式3.2、無損壓縮——png格式4、像素操作4.1、像素值的讀取4.2、像素值的寫入5、圖片縮放5.1、查看圖片寬高5.2、等比例

原创 python爬蟲之爬取微博《肺炎患者求助》超話信息

學校有個老師想研究微博《肺炎患者求助》的文本信息,他給了我一個PC端的鏈接,找我幫忙寫爬蟲,把鏈接上所有求助信息全部爬下來,我查看一共有21頁,日期爲2020年2月1日~2020年3月13日;經過一番檢查後,我決定自己從移動端網

原创 高考英語詞頻統計

前言:受我表哥邀請,幫忙統計歷年的高考英語詞頻,並保存到表格中,這樣方便發給學生學習需要重點注意的單詞,正好他也對python感興趣,我就簡單的給他寫了一個小程序,每次把要統計的word文檔放入data文件中就雙擊寫好的程序可以

原创 python爬蟲之爬取豆瓣電影top250實戰教學

前言:這是我帶領2017級信管班同學學習python爬蟲的第一課,我自學python爬蟲差不多有一年的時間,實戰了大量的網站,對python爬蟲我自己的理解。本來上學期就想帶領大家一起學習的,但是學校的教室不方便申請,加上大家都

原创 機器學習之SVM線性與非線性問題學習

文章目錄第一部分:線性問題部分1.1、生成隨機散點1.2、建模1.3、數據可視化第二部分:非線性問題部分2.1、隨機生成數據2.2、屬性組合分隔數據2.3、建模2.3.1、測試範圍2.3.2、預測分隔2.3.3、求它的距離第三部分

原创 機器學習之SVM人臉識別

文章目錄1、導入圖片數據2、隨機查看圖片3、建模評估4、PCA數據處理4.1、數據脫敏處理4.2、建模評估5、過採樣技術處理5.1、查看原始數據5.2、過採量5.3、建模評估5.4、批量展示預測圖片 操作平臺: windows1

原创 機器學習之K均值算法(K-means)聚類

文章目錄一、K-means算法原理二、實戰12.1、make_blobs隨機生成點2.2、聚類2.3、輪廓係數三、實戰23.1、導入數據3.2、切分數據3.3、聚類3.4、查看所有的國家3.5、聚類國家 操作平臺: window

原创 機器學習之短信、郵件、新聞分類實戰學習

文章目錄1、導入數據1.1、讀取數據“SMSSpamCollection”1.2、確定研究對象2、統計詞頻2.1、文本向量化處理2.2、查看詞頻3、建模與評估3.1、訓練模型3.2、模型評估3.2.1、高斯分佈正太分佈3.2.2、