原创 古詩,古文,古詞,句

除了第一句,其他排名不分先後。 1,後來許多人問我一個人夜晚踟躕路上的心情,我想起的卻不是孤單和路長,而是波瀾壯闊的海和天空中閃耀的星光。

原创 python3 + Scrapy爬蟲學習之創建項目

最近準備做一個關於scrapy框架的實戰,爬取騰訊社招信息並存儲,這篇博客記錄一下創建項目的步驟 pycharm是無法創建一個scrapy項目的 因此,我們需要用命令行的方法新建一個scrapy項目 請確保已經安裝了scrapy,twi

原创 python報錯:requests.exceptions.ChunkedEncodingError

報錯背景: 寫爬蟲下載兩千多個ts文件,線程數量爲50。 原因: 未加headers 解決: 添加headers信息。 寫爬蟲時,headers是最基礎,最常規的反爬手段,也是寫代碼最應該規避的坑。 點贊 收藏 分

原创 selenium:打開多界面,操作句柄,控制頁滑動,正則表達式,操作輸入框和按鈕,定位複合elements

有個比較有趣的網站,需要執行兩個步驟: 切換到other商品頁面 篩價,即輸入價格區間 emmm,沒有前後順序要求,這個網站也比較神奇 上代碼在解釋 # -*- coding:utf-8 -*- import re from selen

原创 字體反爬蟲——58租房

58是一個字體反爬相對簡單的網站了,它只對數字進行了反爬處理。適合拿來做字體反爬入門。 先上代碼,在詳細記錄,純小白操作,不怕看不懂啊: import requests import base64 import re from font

原创 python:解決os.listdir亂序問題

背景:我有一個文件夾,其中有多個碎片化視頻需要合併。 0_x是一個視頻 1_x是第二個視頻 使用ffmpeg合併,需要有一個按順序排列的文檔,才能進行合併,否則合併出的視頻是亂序的  測試錯誤代碼及示範: import os def

原创 python 實現多線程下載加密m3u8格式視頻,使用FFmpeg合併

如果你要下載的m3u8文件未加密: 請移步:https://blog.csdn.net/s_kangkang_A/article/details/103071822   上次做完了沒加密的,再次記一下加密的怎麼做。 其實效率不高,看看就知

原创 某某文學網站小說爬蟲

這個爬蟲來自於一個問答貼: 看雪論壇:https://bbs.pediy.com/thread-256306.htm 吾愛破解:https://www.52pojie.cn/thread-1075559-1-1.html 發帖人是一個人。

原创 房天下房源爬取:scrapy-redis分佈式爬蟲(一)

從前幾天就開始準備寫一個簡單地分佈式爬蟲的項目了,今天算是把問題和bug逐漸解決了,所以會陸續放上來。 主機是windows即此電腦,項目也是在windows下寫的,運行會放在linux下的ubuntu系統。 項目是爬取房天下網站全國60

原创 排序算法——堆排序,快速排序

如有錯誤,歡迎指出,多謝。 動圖來自菜鳥教程,多謝。 一:堆排序 堆排序相對來說有些難度,這裏給個鏈接,老師講的很詳細,C語言版的: https://www.bilibili.com/video/av47196993  根結點(亦稱爲堆

原创 基於簡單登錄等功能,實現js彈出警告

終於有時間去搞搞我簡單的django項目了。 上次博客裏面有bug,比較尷尬,這裏改一下,順便更新一下js實現彈出警告的功能,不在使用ERROR.html,太low了。 更改: 1,刪除原有ERROR.html: 2,views.py更

原创 Django實現auth模塊下的登錄註冊與註銷

本文已發現bug,空密碼可註冊,空用戶名報錯等 及新功能,js警告空密碼,用戶名已被註冊,密碼賬號錯誤等信息 已更新到文章:https://blog.csdn.net/s_kangkang_A/article/details/102569

原创 獲取vip cookies抓取vip視頻——模擬登錄

目的:獲取vip cookies,使用該cookies抓取付費視頻 工具:vip賬號,selenium,chromedriver,mysql 原理:使用vip賬號模擬登陸,獲取cookies,使用該cookies即可抓取付費視頻 代碼:

原创 Django報錯:Not Found: /favicon.ico的解決方法

報該錯誤時的處理方法: 在你的static目錄下的img文件夾中,放入一個favicon.ico的圖片: 在你的html頁面完成以下兩步: 第二條一定要在<head>裏。 效果:會多一個類似logo的東西:  

原创 Django:各頁面優化,以及實現個人信息修改

目前又優化了一下界面,主要是依靠網上的模板優化。 目前沒有有效數據,模板數據就沒改。 然後完成了信息修改的功能。效果圖: 1,主頁的登錄,註冊,註銷,我的,四個功能集成在一個板塊下:   2,個人頁面優化,不採用頭像圖片,而是每個用戶可