原创 python爬蟲從入門到放棄(三)- Urllib庫的基本使用方法1

Urllib 是Python自帶的標準庫,無需安裝,直接可以用。提供瞭如下功能: 網頁請求 響應獲取 代理和cookie設置 異常處理 URL解析 爬蟲所需要的功能,基本上在urllib中都能找到,學習這個標準庫,可以更加深入的理解後面更加

原创 python爬蟲從入門到放棄(二)- 爬蟲的深層原理

上次說到了爬蟲的基本原理、這次再深入的瞭解學習一下深層的本質。 因爲本人屬於小白,這兩年接觸的都是ETL、數據倉庫、BI 方面的東西,故這裏轉載以爲專業人士的爬蟲原理,末尾有原文地址。 爬蟲就是請求網站並提取數據的自動化程序。其中請求,提取

原创 python爬蟲從入門到放棄(一)- 認識爬蟲

什麼是爬蟲 百度百科裏的解釋是這樣的: 網絡爬蟲(又被稱爲網頁蜘蛛,網絡機器人,在FOAF社區中間,更經常的稱爲網頁追逐者),是一種按照一定的規則,自動地抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者

原创 python爬蟲從入門到放棄(三)- Urllib庫的基本使用方法1

Urllib 是Python自帶的標準庫,無需安裝,直接可以用。提供瞭如下功能: 網頁請求 響應獲取 代理和cookie設置 異常處理 URL解析 爬蟲所需要的功能,基本上在urllib中都能找到,學習這個標準庫,可以更加深入的理解後面更加

原创 python爬蟲從入門到放棄(二)- 爬蟲的深層原理

上次說到了爬蟲的基本原理、這次再深入的瞭解學習一下深層的本質。 因爲本人屬於小白,這兩年接觸的都是ETL、數據倉庫、BI 方面的東西,故這裏轉載以爲專業人士的爬蟲原理,末尾有原文地址。 爬蟲就是請求網站並提取數據的自動化程序。其中請求,提取

原创 python爬蟲從入門到放棄(一)- 認識爬蟲

什麼是爬蟲 百度百科裏的解釋是這樣的: 網絡爬蟲(又被稱爲網頁蜘蛛,網絡機器人,在FOAF社區中間,更經常的稱爲網頁追逐者),是一種按照一定的規則,自動地抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者

原创 python網絡編程基礎--網絡的基本知識以及傳輸方式udp的基本介紹

網絡編程:udp 要了解網絡編程,首先就要先了解什麼是網絡(瞭解):網絡的定義: 網絡就是指將具有獨立功能的多臺計算機通過通信線路連接起來,在網絡管理軟件及網絡通信協議下,實現資源共享和信息傳遞的虛擬平臺。通俗的可以理解爲:就是把雙方或者多

原创 vim的一些基本命令

vim的使用1 命令模式, 編輯模式, 末行模式, 命令模式是編輯模式和末行模式的中轉站 vim常用命令 i: 進入編輯模式 yy: 複製光標所在行 複製多行: 數字+yy p: 粘貼, 粘貼多次: 數字+p dd(刪除、剪切), 剪切或

原创 python網絡編程基礎--socket的簡介,以及使用socket來搭建一個簡單的udp小程序

socket介紹: socket(簡稱套接字),是進程間通訊的一個工具,他能實現把數據從一方傳輸到另一方,完成不同電腦上進程之間的通訊,它好比數據的搬運工。socket應用:不誇張來說,只要跟網絡相關的應用程序或者軟件都使用到了socket

原创 linux的一些基本命令總結

Linux 命令總結 1. 啓動終端: ctr+alt+t,無需多言2. 終端字體放大: ctr+shift+'+',終端字體縮小: ctr+'-',無需多言3. ls: 查看當前目錄下的文件信息 4. pwd: 查