原创 Python-- Django系統

目錄 Django系統 1、環境 2、參考資料 3、環境搭建 3.1、版本選擇 3.2、 安裝 Django 4、檢查是否安裝成功 5、搭建多個互不干擾的開發環境(可選) 6、後臺需要的流程 7、創建第一個django程序 8、pycha

原创 Python-- 學習Selenium之前的準備工作

1、Selenium之前的準備工作主要分爲三部分 第一部分:Selenium的學習網站 第二部分:Selenium的資源整理,各種版本瀏覽器、driver、selenium的下載 第三部分:Chrome與chromedriver的版本對照

原创 Python-- Selenium用法

目錄 基本框架 詳細用法如下: 1:聲明瀏覽器對象 2:訪問頁面 3:查找單個元素 4:查找多個元素 5:元素的交互操作 6:交互動作 7:執行javascript 8:獲取元素信息 9:等待 10:瀏覽器的前進和後退 11:cookie

原创 Python-- scrapy-shell學習筆記

 目錄 scrapy-shell 1.啓動 2.response 3.selector 4.練習 (自己做的小練習,獲取招聘網站的信息) scrapy-shell 官方文檔:https://scrapy-chs.readthedocs.i

原创 Python-- Scrapy

scrapy爬蟲框架 中文學習文檔:https://scrapy-chs.readthedocs.io/zh_CN/0.24/index.html  1、爬蟲框架有哪些: scrapy  pyspider crawley 2、scrap

原创 Python-- CSS 選擇器:BeautifulSoup4

目錄 CSS 選擇器:BeautifulSoup4  示例: 一、四大對象種類 1. Tag 2. NavigableString 3. BeautifulSoup 4. Comment 二、遍歷文檔樹 1. 直接子節點 :.conten

原创 Python-- lxml用法

目錄 lxml庫(lxml安裝可查看上一篇文章) Element類 1、節點操作 2、屬性操作 3、文本操作 4、文件解析與輸出 5、ElementPath 6、案例(尤其最後的一篇代碼)    lxml庫(lxml安裝可查看上一篇文章)

原创 Python之正則表達式

學習網站:http://www.runoob.com/python/python-reg-expressions.html 正則表達式 一套規則,可以在字符串文本中進行搜查替換等 案例1,re的基本使用流程 案例2,match的基本使用

原创 如何在已安裝Python條件下,安裝Anaconda,,並將原有Python添加到Anaconda中

在安裝Anaconda之前,有的已經安裝過一個Python版本了,但是又不想刪除這個Python版本,該怎麼辦呢? 概括:輕鬆兩步--在系統環境變量中找到對應之前安裝Python的路徑並刪除;直接將你原來安裝python的整個文件夾拷貝到

原创 Python-- lxml安裝

       無論是使用爬蟲框架scrapy,還是簡單的requests請求後解析。都不可避免的需要使用html解析庫。當然正則是可以代替一部分搜索。由於正則語法的晦澀,及其其他場景下,html解析是必不可少的。網上推薦 lxml的比較多

原创 Python之爬蟲-- Requests

目錄 Requests-獻給人類 一、簡介 二、安裝方式 三、 GET請求 四、POST請求  五、顯示json文件 六、代理(proxies參數)  七、用戶驗證 八、Cookies 和 Session 1、Cookies 2、Sess

原创 Python之爬蟲-- etree和XPath實戰

下面代碼是在網站上找到的一個例子,空閒的時候可以自己調試。  # -*- coding:utf-8 -*- """ 爬蟲 創業邦 創業公司信息爬取 網頁url = 'http://www.cyzone.cn/vcompany/list-

原创 Python之爬蟲-- XML與XPath

XML XML(EXtensibleMarkupLanguage)    學習文檔:  http://www.w3school.com.cn/xml/index.asp 案例1 概念:父節點,子節點,先輩節點,兄弟節點,後代節點 案例1:

原创 Python之爬蟲-- js加密(破解有道詞典加密的算法)

js加密 有的反爬蟲策略採用js對需要傳輸的數據進行加密處理(通常是取md5值) 經過加密,傳輸的就是密文,但是 加密函數或者過程一定是在瀏覽器完成,也就是一定會把代碼(js代碼)暴露給使用者 通過閱讀加密算法,就可以模擬出加密過程,從而

原创 Python之爬蟲-- 頁面解析和數據提取

目錄 頁面解析和數據提取 Beautiful Soup 4.2.0 文檔 一、簡介          二、bs4的使用         1、導入模塊        2、獲取節點        3、尋找節點 頁面解析和數據提取 一般來講對我