原创 Django在線教育網站開發(二十二)用戶註冊-驗證碼

1:安裝驗證碼框架 pip install django-simple-captcha==0.4.62:在settings.py中,配置installed_apps3:生成驗證碼對應的表格python manage.py migrate4:

原创 pyquery用法詳解

PyQuery庫也是一個非常強大又靈活的網頁解析庫,如果你有前端開發經驗的,都應該接觸過jQuery,那麼PyQuery就是你非常絕佳的選擇,PyQuery 是 Python 仿照 jQuery 的嚴格實現。語法與 jQuery

原创 python爬蟲環境安裝-mysql環境安裝

MySQL是一個關係型數據庫管理系統,由瑞典MySQL AB 公司開發,目前屬於 Oracle 旗下產品。MySQL 是最流行的關係型數據庫管理系統之一,在 WEB 應用方面,MySQL是最好的 RDBMS (Relational

原创 正則表達式的相關用法

正則表達式,又稱規則表達式。(英語:Regular Expression,在代碼中常簡寫爲regex、regexp或RE),計算機科學的一個概念。正則表通常被用來檢索、替換那些符合某個模式(規則)的文本。 大家在寫正則表達式的過

原创 Request庫的相關用法

Requests 是用Python語言編寫,基於 urllib,採用 Apache2 Licensed 開源協議的 HTTP 庫。它比 urllib 更加方便,可以節約我們大量的工作,完全滿足 HTTP 測試需求。Requests

原创 和數據分析相關的重要Python類庫介紹

NumPy NumPy(Numerical Python的簡稱)是Python科學計算的基礎包。在本專題中的大部分內容都是基於NumPy以及構建於其上的庫,它提供了以下功能(不限於此): - 快速高效的多位數組對象ndarray

原创 python爬蟲環境安裝-mongodb

MongoDB 是一個基於分佈式文件存儲的數據庫。由 C++ 語言編寫。旨在爲 WEB 應用提供可擴展的高性能數據存儲解決方案。 MongoDB 是一個介於關係數據庫和非關係數據庫之間的產品,是非關係數據庫當中功能最豐富,最像關

原创 爬蟲基本原理梳理

什麼是爬蟲? 請求網站並提取數據的自動化程序 爬蟲的基本流程 1:向服務器發起請求 通過HTTP庫向目標站點發起請求,即發送一個Request,請求可以包含額外的headers等信息,等待服務器的響應。 2:獲取響應內容 如果服

原创 python爬蟲環境安裝-IDE-pycharm

PyCharm是一種Python IDE,帶有一整套可以幫助用戶在使用Python語言開發時提高其效率的工具,比如調試、語法高亮、Project管理、代碼跳轉、智能提示、自動完成、單元測試、版本控制。此外,該IDE提供了一些高級功

原创 我已經寫了48年代碼了,我感覺我還能寫下去

這是來自quroa的問題:Why-aren’t-there-a-lot-of-old-programmers-at-software-companies下的一個回答。 很多人會疑問是不是程序員最後只能轉管理,是不是到了中年之後就應

原创 fake-useragent,python爬蟲僞裝請求頭

在編寫爬蟲進行網頁數據的時候,大多數情況下,需要在請求是增加請求頭,下面介紹一個python下非常好用的僞裝請求頭的庫:fake-useragent,具體使用說明如下: 安裝fake-useragent庫 pip instal

原创 BeautifulSoup庫的用法詳解

BeautifulSoup庫是靈活又方便的網頁解析庫,處理高效,支持多種解析器。利用它不用編寫正則表達式即可方便地實現網頁信息的提取。 BeautifulSoup庫的安裝,可參見博客:http://blog.csdn.net/q

原创 selenium用法詳解

selenium 是一個用於Web應用程序測試的工具。Selenium測試直接運行在瀏覽器中,就像真正的用戶在操作一樣。支持的瀏覽器包括IE(7, 8, 9, 10, 11),Mozilla Firefox,Safari,Goog

原创 UrlLib庫的相關用法

什麼是UrlLib 它是python內置的HTTP請求庫,不需要額外的安裝 它其中包含的幾個模塊的說明: 1:請求模塊,urllib.request 2:異常處理模塊,urllib.error 3:url解析模塊,urll

原创 python爬蟲環境準備-安裝anaconda

在windows環境下,比較頭疼的就是包管理和Python不同版本的問題,爲了解決這些問題,有不少發行版的Python,比如WinPython、Anaconda等,這些發行版將python和許多常用的package打包,方便pyt