原创 目錄(常用插件)

CSS之Bootstrap(快速佈局) DropZone(文件上傳插件) Django之自帶分頁模塊Pagination Django之重寫用戶模型

原创 Python之爬蟲(十七) Scrapy框架中Spiders用法

Spider類定義瞭如何爬去某個網站,包括爬取的動作以及如何從網頁內容中提取結構化的數據,總的來說spider就是定義爬取的動作以及分析某個網頁 工作流程分析 以初始的URL初始化Request,並設置回調函數,當該request下載完

原创 Python之爬蟲(二十五) Scrapy的中間件Downloader Middleware實現User-Agent隨機切換

總架構理解Middleware 通過scrapy官網最新的架構圖來理解: 這個圖較之前的圖順序更加清晰,從圖中我們可以看出,在spiders和ENGINE提及ENGINE和DOWNLOADER之間都可以設置中間件,兩者是雙向的,並且是可以

原创 Python之爬蟲(二十二) Scrapy分佈式原理

關於Scrapy工作流程回顧 Scrapy單機架構 上圖的架構其實就是一種單機架構,只在本機維護一個爬取隊列,Scheduler進行調度,而要實現多態服務器共同爬取數據關鍵就是共享爬取隊列。 分佈式架構 我將上圖進行再次更改 這裏重

原创 Python之爬蟲(二十四) 爬蟲與反爬蟲大戰

爬蟲與發爬蟲的廝殺,一方爲了拿到數據,一方爲了防止爬蟲拿到數據,誰是最後的贏家? 重新理解爬蟲中的一些概念 爬蟲:自動獲取網站數據的程序反爬蟲:使用技術手段防止爬蟲程序爬取數據誤傷:反爬蟲技術將普通用戶識別爲爬蟲,這種情況多出現在封ip中,

原创 Python之爬蟲(二十) Scrapy爬取所有知乎用戶信息(上)

爬取的思路 首先我們應該找到一個賬號,這個賬號被關注的人和關注的人都相對比較多的,就是下圖中金字塔頂端的人,然後通過爬取這個賬號的信息後,再爬取他關注的人和被關注的人的賬號信息,然後爬取被關注人的賬號信息和被關注信息的關注列表,爬取這些用戶

原创 目錄(爬蟲)

Python之爬蟲 Python之Web框架 python之爬蟲(一)進程,線程的初步瞭解 python之爬蟲(二)爬蟲的原理 python之爬蟲(三)Urllib庫的基本使用 python之爬蟲(四)Requests庫的基本使用 pyt

原创 Django之重寫用戶模型

  django——重寫用戶模型 Django內建的User模型可能不適合某些類型的項目。例如,在某些網站上使用郵件地址而不是用戶名作爲身份的標識可能更合理。 1.修改配置文件,覆蓋默認的User模型 Django允許你通過修改set

原创 Django之自帶分頁模塊Pagination

Django提供了一些類來幫助您管理分頁數據 - 即分佈在多個頁面上的數據,使用“上一頁/下一頁”鏈接。這些課程都在django/core/paginator.py。 Example¶ 給Paginator對象的列表,再加上你想有每個頁面

原创 Django之模型的_meta屬性

  Python有反射機制,Django也不例外,也有很好的反射機制,每個Django模型都有一個屬性_meta,_meta也有屬性和方法,這些屬性和方法反射出了模型的一些特性,如果_meta用的好的話,不僅可也是代碼更加優美,而且還可以大

原创 It's time for Django

本節內容   Django流程介紹 Django url Django view Django models Django template Django form Django admin    Django流程介紹     Djang

原创 Python之協程、異步IO、redis緩存、rabbitMQ隊列

本節內容 Gevent協程 Select\Poll\Epoll異步IO與事件驅動 Python連接Mysql數據庫操作 RabbitMQ隊列 Redis\Memcached緩存 Paramiko SSH Twsited網絡框架    

原创 Mysql and ORM

本節內容   數據庫介紹 mysql 數據庫安裝使用 mysql管理 mysql 數據類型 常用mysql命令 創建數據庫 外鍵 增刪改查表 權限 事務  索引 python 操作mysql  ORM sqlachemy學習 1

原创 Python之堡壘機

本節內容 項目實戰:運維堡壘機開發     前景介紹 到目前爲止,很多公司對堡壘機依然不太感冒,其實是沒有充分認識到堡壘機在IT管理中的重要作用的,很多人覺得,堡壘機就是跳板機,其實這個認識是不全面的,跳板功能只是堡壘機所具備的功能屬性中

原创 Django適當進階篇

本節內容 學員管理系統練習 Django ORM操作進階 用戶認證         Django練習小項目:學員管理系統設計開發 帶着項目需求學習是最有趣和效率最高的,今天就來基於下面的需求來繼續學習Django  項目需求: 1.分講師\