原创 爬蟲學習(5):豆瓣、Steam賬號PC端登錄(登錄篇一)

登錄後才能獲取數據也是現在反爬的一個重點,所以計劃接下來的幾期內容都是關於登錄各大站點。由於js代碼過長,所以只截取了部分,完整代碼移步從今天開始種樹,直接拷貝運行即可。 囉嗦兩句 各大網站登錄提交數據的方式不太 一樣,有些只

原创 爬蟲學習(3):搭建自己的電影資源網(保姆式教學)

提醒: 本文所涉及的資源均採集自互聯網,只作爲學習使用,切勿用於盈利,支持正版,如有侵權,即刻刪除。由於過長的篇幅影響觀感,文中完整代碼和涉及到的url可在從今天開始種樹個人博客中查看,同時建議採集過程不要影響網站正常運行。

原创 爬蟲學習(4):自動保存百度雲盤資源

完整代碼移步從今天開始種樹 開始 在上一文中,我們保存了百度雲盤的地址和提取碼,但是這種分享鏈接很容易被屏蔽,最好的做法就是保存資源到自己的網盤,不過採集的鏈接有上萬個,人肉保存並不現實,所以本文嘗試了批量保存資源,如您還沒看

原创 基於centos的Django+gunicorn+ngixn應用部署

準備工作----所需軟件安裝 準備服務器,可以購買騰訊雲、百度雲、華爲雲等,本次部署採用了百度雲,具體購買可以到官網去看看,很簡單,這步就略過了; 服務器準備以後就需要在上面安裝所需的一些軟件,這裏用的是centos的,首先自帶

原创 爬蟲入門------從數據看奧斯卡陪跑健將到底是誰?學院派評委都熱衷於哪類電影?

前言 奧斯卡頒獎季雖已過去有些日子,《寄生蟲》奪得最佳影片,《1917》也不拉下風,全片的長鏡頭的確震撼,這都不是今天要蹭的過氣熱點。作爲一個電影死忠,當然還是想通過數據看看誰是奧斯卡男主最優陪跑員,誰又是白給先鋒,奧斯卡派評委都

原创 Django使用redis進行緩存

對於非經常更新的服務器數據,若每次都從硬盤讀取一次,會浪費服務器資源、拖慢響應速度,而且數據更新頻率較高,服務器負擔比較大。若保存到數據庫,還需要額外建立一張對應的表存儲數據。一個更好的方法是在Django中使用Redis進行緩存

原创 Celery的使用(1)---簡單配置與初次運行

前言 celery是一個基於python開發的簡單、靈活且可靠的分佈式任務隊列框架, 是一個分佈式隊列的管理工具, 可以用 Celery 提供的接口快速實現並管理一個分佈式的任務隊列.。它採用了典型的生產者-消費者模型,主要由三部

原创 深入淺出圖神經網絡:GNN原理解析(一)

前言 最近在學習圖神經網絡相關知識,一起來拆書:《深入淺出圖神經網絡:GNN原理解析》,這本書從原理、算法、實現、應用四個維度詳細講解了圖神經網絡。接下來打算結合書本內容和相關知識做個專題記錄分享,今天先跟大家聊聊關於圖的一些基礎

原创 爬蟲學習(2):貼吧之騎馬與砍殺2,願它長壽?

前言 爺爺,你的騎砍2發售了!!!騎馬與砍殺2:霸主 搶先體驗版於2020年3月31日發售,到今天砍友們已經暢砍了一週,從中文站快速更新版本的消息來看,目前體驗版還存在很多bug,希望經過這段時間的完善能讓正式版更加具有可玩性。當

原创 Celery的使用(2)---從配置開始

前言 上文中我們將配置直接設置在了tasks.py中: tasks.py from celery import Celery app = Celery('tasks', broker='redis://:password@host

原创 10分鐘快速安裝Redis

獲取redis資源 wget http://download.redis.io/releases/redis-4.0.8.tar.gz 解壓 tar xzvf redis-4.0.8.tar.gz 編譯安裝   cd redi

原创 Centos下python3和virtualenv的安裝

前言 最近買了個雲服務器,Linux自帶python2.7,都快出python4了,這至少怎麼說也得換個python3.6以上的玩玩啊,剛好記錄一下安裝過程,順便安裝了極其好用的virtualenv,希望對正在安裝的人也有幫助。

原创 docker安裝mysql

最近在部署django,不想在手動安裝一遍mysql,便嘗試使用docker,總結了安裝的心得,這些前提都是在安裝了docker後: 1. 查看mysql鏡像; docker search mysql 2.有鏡像,直接拉

原创 虛函數:虛函數的作用

我們知道,在同一類中是不能定義兩個名字相同、參數個數和類型都相同的函數的,否則就是“重複定義”。但是在類的繼承層次結構中,在不同的層次中可以出現名字相同、參數個數和類型都相同而功能不同的函數。人們提出這樣的設想,能否用同一個調用形式,既能

原创 matlab中對錶格和文本的一些簡單操作

EXCEL裏既有字母、漢字又有數據,在MATLAB中的讀取 excel中的格式如下 Time Temp 12       98 13       99 14       97 命令格式如下:其中第一下參數是表(也可以是該表的路徑),第