原创 爬蟲教程---第五章:爬蟲進階之Selenium

第五章 爬蟲進階 5.2 Selenium爬取動態網頁 你一定見過“查看更多”的按鈕,一點它就會加載更多的內容,此時瀏覽器是沒有刷新的,僅僅通過Ajax與服務器進行少量的數據交換。這就是動態網頁。 什麼是Ajax? Ajax 即A

原创 爬蟲教程---第五章:爬蟲進階之多線程爬蟲

第五章 爬蟲進階 經過了前面四章的學習,相信小夥伴對爬取基本的網站的時候都可以信手拈來了。那麼接下來介紹比較高級一點的東西來幫助我們更順利更快速的進行爬蟲。 首先來看看我們這一章要學哪些進階技術:多線程爬蟲、ajax數據爬取、圖形

原创 爬蟲教程---第四章 信息存儲

第四章 信息存儲 前面三章介紹瞭如何爬取以及篩選信息,而這些信息呢都是輸出到控制檯的。那這一章,我們要學習如何將這些信息持久化存儲,方便我們以後的使用。 接下來我們要學習的信息存儲技術有:json 、csv 、mysql 。 大家

原创 爬蟲教程---第三章:信息提取之BeautifulSoup

3.2 BeautifulSoup 和lxml一樣,BeautifulSoup也是一個HTML/XML的解析器,跟XPath的功能是一樣的。 區別在哪裏呢?lxml只會局部遍歷,如果你想提取a 標籤的內容,那麼我們需要寫出相關的x

原创 爬蟲教程---第三章:信息提取之XPath

第三章:信息提取 雖然學了前面兩章可以自己爬取網頁內容了,但這些內容夾雜了很多html代碼啊,不相關的信息啊等等。 那本章就是解決一些手段對想要信息進行精準的提取,進而使爬取下來的信息都是我們想要的。 提取信息的技術有三種:XPa

原创 爬蟲教程---第二章:requests的使用

第二章:requests庫使用 urllib庫 雖然蠻強大的,但是還有很多比較麻煩的地方,比如上一章的實現中,需要把post請求的參數進行編碼纔可以發送到服務器,還有當我們需要使用到cookie以及其他東西時需要藉助一些東西纔可以

原创 Mysql學習(全)

1.安裝Mysql 1.1 關於密碼的一些事 登錄mysql: mysql -uroot -p 回車,輸入密碼 修改密碼的常見方法: set password命令: 登錄mysql set password for

原创 JavaWeb學習(較全較簡)

JSP jsp(javascript page)服務端腳本語言,用於寫動態網頁。就是可以在html中寫java代碼。 一個JSP頁面是由傳統的HTML頁面標記加上JSP標記和嵌入的Java代碼組成 由以下4種元素組成:HTML標記

原创 爬蟲教程---第一章:爬蟲基礎

第一章:爬蟲基礎 1.1 通用爬蟲與聚焦爬蟲 通用爬蟲:主要將互聯網上的網頁下載到本地,形成一個互聯網的鏡像備份。 聚焦爬蟲:通過特定的規則對網頁內容進行與需求相關的爬取。 1.2 http協議 首先看一下在瀏覽器中是怎麼樣發

原创 計算機組成原理---學習筆記

1.計算機系統 1.1 電子計算機與存儲程序控制 1.1.1 ENIAC 世界上第一臺電子數字計算機是1946年2月問世的ENIAC。 其特點: 採用十進制 體積龐大 5,000次/秒加法運算 用開關手動編程 1.1.2 存儲

原创 3dmax複習

1 認識3ds Max 1.1 界面介紹以一些快捷鍵 1.2 3ds Max的工作流程 建模 編輯修改 材質貼圖 燈光設置 攝影機設置 渲染輸出 動畫製作 2 對象的創建、選擇與變換 2.1 標準基本體跟擴展基本體 3

原创 數據庫原理複習

1.專業名詞解釋 元組:表中的一行就是一個元組。 分量:元組的某個屬性值。在關係數據庫中,屬性是“不可分的”。 碼:表中可以唯一確定一個元組的某個屬性(或者屬性組),如果這樣的碼有不止一個,那麼大家都叫候選碼,我 們從候選碼中挑

原创 Vue學習第三章-動態綁定屬性

動態綁定屬性 很多時候,數據是會改變的,而我們也經常需要根據數據的改變來改變,這時候就可以通過動態綁定標籤的屬性,來動態決定標籤的在頁面中呈現出來的樣子。 動態綁定的語法:v-bind: 語法糖:: tips:語法糖即語法的縮寫