原创 Selenium+Chrome爬取淘寶美食商品並存入MongoDB數據庫中

Selenium自動化測試工具,支持多種瀏覽器,主要用來解決JavaScript渲染的問題   需要的工具:Pycharm、python37、Chromedriver環境配置好、Chrome瀏覽器、Selenium庫、MongoDB可視化

原创 今日頭條組圖下載本地,並存入MongoDB

我是跟着崔大神的視頻進行學習的,這是他的一個案例,一步一步敲,代碼肯定是沒有問題的,肯定能學到一點東西,註釋不想加了,下面自己一步一步完成的。(代碼註釋的部分,是爲了測試,時常打印一下信息,看有沒有問題) 流程框架: 爬取索引頁內容:利用

原创 scrapy爬取知乎全站用戶信息,存入mongodb數據庫

源碼地址github,裏面有詳細註釋:https://github.com/15160200501/scrapy- 可以直接運行,不能運行的話,接口應該是換了 工具:pycharm、python37、mongodb數據庫、數據庫可視化工具

原创 抖音app爬取、最簡單測試一下爬取app的趕腳

註明:這個目的只是檢測你的app爬取環境,用一個最簡單的案例測試一下,體驗一下爬取app的趕腳。 1、需要工具:charles抓包工具,pycharm 2、配置好相關環境,打開手機抖音app,點擊一位用戶頭像,https://aweme-

原创 GitHub模擬登錄

參考書籍:python3網絡爬蟲開發與實戰     作者個人博客:https://cuiqingcai.com/ 需要的工具:requests庫,puquery庫 概要:打開網頁然後模擬登錄,實際上是在客戶端生成了Cookies,而coo

原创 Docker部署IDEA中springboot項目的Swagger接口到阿里雲服務器給前端使用

提醒:複製linux命令的時候,先將它們複製到你別的文本里,因爲直接複製粘貼到linux的時候,尾巴上會有別的字符,會出錯 1、安裝Docker(我前面寫的文檔,一步一步按順序粘進去) 這裏默認各位已經成功安裝Docker,沒有

原创 HTML,CSS,javaScript, Ajax,Json,Python爬蟲需要了解的前端知識

1、HTML是編寫網頁的主體:        HTML,Hypertext Markup Language超文本標記語言是用於創建web頁面和web應用程序的標準標記語言。HTML在語義上描述了web頁面的結構,並且包含了文檔外觀最初的線

原创 java基礎中:什麼是類、什麼是對象

一、類與對象的概念 1.類 類是對具有共性事物的抽象描述,是在概念上的一個定義,是人類實際抽象出來的結果,實際上是不存在的。比如(成績管理系統:學生類、班級類、課程類、成績類,這是人類通過智慧定義的名字,是抽象的名字) 2.對

原创 IP代理池的使用

參考書籍:python3網絡爬蟲開發與實戰     作者個人博客:https://cuiqingcai.com/ 下載IP代理池的程序,其作者放在了GitHub:https://github.com/Python3WebSpider/Pr

原创 IDEA中SpringBoot項目隨時切換不同的環境進行打包

一、問題背景: 當我們在本地進行開發項目的時候,想把接口部署到服務器給前端進行調用。但是項目中yml配置文件服務器的地址是本地的,而不是服務器的ip地址。爲了能夠不老是更換ip地址,就有了這個多環境隨時切換 二、在項目中添加y

原创 阿里雲服務器CentOS7安裝Docker

有感興趣的話,可以看一下Docker的安裝CentOS的官方文檔 CentOS上安裝Docker官方文檔 提醒:將下面的linux命令複製到你的電腦別的地方中,不然一步一步粘貼的時候,尾巴上會帶上別的東西 在XShel

原创 navicat工具將本地的MySQL數據庫備份到阿里雲服務器的MySQL中

一、問題描述 把本地設計好的數據庫想備份到阿里雲服務器上面的MySQL中(以blog這個數據庫爲例) 二、右擊阿里雲---->新建數據庫,寫好數據庫名和字符集,點擊確定 三、點擊本地blog數據庫的備份---->新建備份,

原创 java基礎中重載和重寫的區別

一、使用“方法的重載機制”和不使用“方法的重載機制”的比較 1.不使用“方法的重載機制”,分析程序存在的缺點? package 重載; public class test01 { public static void

原创 python爬蟲代理的不同設置

以下內容分爲1、urllib庫代理的設置                       2、requests庫代理的設置                       3、selenium+chrome代理的設置 1、urllib庫的代理的設

原创 將阿里雲服務器還原到剛買時的操作系統,XShell進行遠程連接

1、先進入到阿里雲官網、登錄、點擊控制檯 2、點擊左側雲服務器ECS 3、點擊實例ID 4、將服務器停止 5、返回到雲服務器ECS頁面,點擊實例,再點擊更多,選擇更換操作系統 6、重新選擇鏡像,設置登錄名和密碼,