原创 Scrapy爬蟲部署
遠端部署 1、配置服務器的python環境 安裝pip3：sudo apt install python3-pip 安裝scrapy：pip3 install scrapy -i https://pypi.douban.com/
2020-07-05 09:59:24
原创 Django後臺管理
後臺管理 1、管理界面本地化 本地化是將顯示的語言、時間等使用本地的習慣，這裏的本地化就是進行中國化，中國大陸地區使用簡體中文，時區使用亞洲/上海時區，注意這裏不使用北京時區表示。 打開test1/settings.py文件，
2020-02-22 19:31:54
原创 軟件測試工具
1、手機抓包工具 1）Fiddler 功能：打斷點、弱網測試、擋板、簡單的安全測試 2）Charles 功能：抓包、截取http和https網絡封包、支持重發網絡請求，方便後端調試、支持修改網絡參數 3）Wir
2020-02-22 19:31:54
原创 DRF十大組件使用
DRF 十大組件總結： 認證 權限 節流 版本 解析器 序列化 分頁 視圖 路由 渲染器 認證 作用:判斷用戶是否登錄,之後登錄後的用戶纔有權限訪問接口 自定義認證類繼承BaseAuthentication 認證（
2020-02-22 19:31:54
原创 BeautifulSoup解析數據
BeautifulSoup BeautifulSoup是Python獨有.簡單便捷和高效 安裝bs4 pip install bs4 # pip install lxml bs4用到lxml庫,如果沒有安裝過lxml
2019-09-16 00:52:24
1
原创 pyquery解析數據
pyquery pyquery庫是 jQuery 的 Python 實現，能夠以jQuery的語法來操作解析 HTML 文檔，易用性和解析速度都很好 安裝 pip3 install pyquery 1、導包 from
2019-09-16 00:52:24
原创 Requests爬蟲
Requests Requests 繼承了urllib的所有特性，並且API使用更加方便，可以簡化我們的代碼 如何使用Requests GET 1 導入 import requests 2 發起請求 url = '目標ur
2019-09-10 01:08:42
1
原创 urllib與正則
urllib發起請求接收響應 GET請求 #爬取網站的url url = 'http://www.baidu.com' #設置請求頭 headers={"User-Agent":"Mozilla/5.0 (Windows NT
2019-09-10 01:08:42
原创 xpath解析數據
xpath XPath (XML Path Language) 是一門在 XML 文檔中查找信息的語言，可用來在 XML 文檔中對元素和屬性進行遍歷。 XML 和 HTML 的區別 XML：被設計爲傳輸和存儲數據，其焦點
2019-09-10 01:08:42
原创 分佈式爬蟲，介紹及用法
什麼是分佈式爬蟲？ 1、分佈式爬蟲就是將可以在多臺電腦上運行，這樣可以提高爬蟲速度和效率 2、普通的爬蟲是將起始任務定義在本機的爬蟲文件中，分佈式是將起始任務定義在遠端服務器上，可以同時多臺電腦去取任務，進行爬取 分佈式爬蟲用法
2019-06-19 01:11:28
原创 scrapy框架流程、結構、用法
scrapy介紹 1、scrapy框架結構： Scrapy Engine(引擎): 負責Spider、ItemPipeline、Downloader、Scheduler中間的通訊，信號、數據傳遞等。 Scheduler(調度器)
2019-06-17 01:50:28
原创 後端django
後端： 後端開發 玩數據 儲存數據 MySQL nongodb redis 前端頁面： 爲了顯示數據 數據寫在前端頁面裏面 小編在後臺添加新聞 框架： django 框架 web 框架 軟件： 數據 顯示數據地方
2019-01-25 20:58:26
原创 jQuery-jsonp和 jsonp公開接口
jQuery-jsonp <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>jQuery-jsonp</title> <style typ
2019-01-16 20:32:17
原创 正則和 正則表達式
正則 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>正則</title> <style type="text/css"> </
2019-01-16 20:32:06
1
原创 for知識點
1.打印1-100之間所有奇數之和 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>Document</title>
2019-01-16 20:32:06