原创 從零開始完成一個分佈式爬蟲項目

寫在最前面: 學習scrapy也有一段時間了,準備寫一個項目鞏固鞏固;也快要畢業了,畢業設計題目還沒想好;索性先拿這個項目練練手。 ps:源碼在文章末尾,有興趣的自行下載 廢話不多說,直接上任務 爬取網站 :房天下 爬取內容:

原创 數據庫學習之Redis高級特性

數據持久化 持久化定義 將數據從掉電易失的內存放到永久存儲的設備上 爲什麼需要持久化 因爲所有的數據都在內存上,斷電後,數據就不見了,所以必須得持久化 數據持久化分類 - RDB模式(默認開啓) 默認模式

原创 Django web 框架學習之旅(2)

《Django Web框架》 目錄 Django的框架模式 模板 Templates Django 模板語言: (The Django template language) 模板的傳參 模板的變量 模板的標籤 過濾器 模

原创 如何進行前後端分離?

前後端分離 1.1 什麼是前後端分離 ​ 前端: 即客戶端,負責渲染用戶顯示界面【如web的js動態渲染頁面, 安卓, IOS,pc客戶端等】 ​ 後端:即服務器端,負責接收http請求,處理數據 ​ API:Applicatio

原创 Scrapy框架——中間件詳解

廢話不多說,兩個中間件,一個下載器,另一個Spider 下載器中間件 位於Scrapy引擎和下載器之間,主要用來處理從EGINE傳到DOWLOADER的請求request,已經從DOWNLOADER傳到EGINE的響應re

原创 數據庫學習之旅——Redis

Redis介紹 特點及優點 1、開源的,使用C編寫,基於內存且支持持久化 2、高性能的Key-Value的NoSQL數據庫 3、支持數據類型豐富,字符串strings,散列hashes,列表lists,集合sets,有序集

原创 Django web 框架學習之旅(3)

《Django Web 框架》 目錄 靜態文件 Django中的應用 - app 什麼是應用(app) 創建應用app Django應用的結構組成 數據庫 和 模型 Django下使用mysql數據庫 數據庫遷移的錯誤處

原创 HTML文檔解析之Xpath(附 xpath helper工具)

一. 引入 XPath,全稱XML Path Language,即XML路徑語言,它是一門在XML文檔中 查找信息地語言。它最初是用來搜尋XML文檔的,而XML文檔與HTML文檔關係緊密,Xpath同樣適用於HTML文檔的搜索。

原创 前端學習之旅——JavaScript

JavaScript介紹 JavaScript是運行在瀏覽器端的腳步語言,JavaScript主要解決的是前端與用戶交互的問題,包括使用交互與數據交互。 JavaScript是瀏覽器解釋執行的,前端腳本語言還有JScript

原创 Django web框架學習之旅(4)

《Django Web 框架》 目錄 Django shell的使用 admin 後臺數據庫管理 自定義後臺管理數據表 修改後臺Models的展現形式 模型管理器類 數據庫表管理 數據表關聯關係映射 Relatio

原创 數據庫學習之旅——Mysql

引入 MySQL 是最流行的關係型數據庫管理系統,在 WEB 應用方面 MySQL 是最好的 RDBMS(Relational Database Management System:關係數據庫管理系統)應用軟件之一。

原创 Python多進程數據共享

碎片知識 使用global + 進程鎖是無法對數據進行修改的,只能查看數據。 代碼如下: import multiprocessing x = 0 lock = multiprocessing.Lock() def m

原创 前端學習之旅——HTML

html概述和基本結構 html概述 HTML是 HyperText Mark-up Language 的首字母簡寫,意思是超文本標記語言,超文本指的是超鏈接,標記指的是標籤,是一種用來製作網頁的語言,這種語言由一個個

原创 Scrapy框架 settings.py文件中常用的配置值

😃 Scrapy設定(settings)提供了定製Scrapy組件的方法。 你可以控制包括核心(core),插件(extension),pipeline及spider組件。 設定爲代碼提供了提取以key-value映射的配置值的的

原创 前端學習之旅——Jquery

jquery介紹 jQuery是目前使用最廣泛的javascript函數庫。據統計,全世界排名前100萬的網站,有46%使用jQuery,遠遠超過其他庫。微軟公司甚至把jQuery作爲他們的官方庫。 jQuery的版本分爲1.