原创 Python爬蟲--通用框架

前言: 相信不少寫過Python爬蟲的小夥伴,都應該有和筆者一樣的經歷吧只要確定了要爬取的目標,就開始瘋狂的寫代碼,寫腳本經過一番努力後,爬取到目標數據;但是回過頭來,卻發現自己所代碼複用性小,一旦網頁發生了更改,我們也不得不隨之

原创 雲服務器(ECS)初體驗--LNMP簡介

***LNMP***代表的就是:Linux系統下Nginx+MySQL+PHP這種網站服務器架構。 • Linux:是一類Unix計算機操作系統的統稱,是目前最流行的免費操作系統。代表版本有:debian、centos、ubunt

原创 Python爬蟲實戰--58同城二手商品爬蟲

嗚嗚~~本來說今天就把代碼上傳上來,可惜了,還是有點差錯,今天估計趕不上啦!明天加油吧! 今天我們一起來好好分析一下,看看我們該如何去爬去58二手商品。 這裏我們分成四步來完成本次任務~ 目標站點分析 目標URL:http://b

原创 Python爬蟲實戰--鬥魚直播爬蟲

前言: 稍微總結一下前面我們所學到的內容吧!在前面的實戰學習中,我們學會如何使用requests來獲取網頁源碼,並從中提取出我們所需要的數據, 那接下來,我們也將進一步學會使用selenium獲取網頁,分析網頁,和提取數據。 目標

原创 Python爬蟲實戰--CSDN博客爬蟲(內有玄機)

前言: 哈哈,繼續高興一下,通過自己的小手段,讓博客訪問量過萬啦~怎麼做到的呢? 大家想一想我們近來所學的爬蟲知識,養兵千日用兵一時,在前面的學習,我們已經可以很輕鬆的爬去一些中小型和大型網站了,現在我們一起來思考一下,我們該怎麼

原创 阿里雲服務器(ECS)實戰--CentOS 7服務器上配置jupyter設置遠程登錄

我們今天就一起來實現一下,配置Jupyter來進行遠程登錄 1、生成配置文件(~/.jupyter/jupyter_notebook_config.py) jupyter notebook --generate-config 2、

原创 阿里雲服務器(ECS)實戰--CentOS 7安裝TeamView

安裝TeamView 下載TeamView安裝包 我們需要現在teamview官網上找到我們需要的版本安裝包,並提取下載鏈接。如: https://dl.tvcdn.de/download/linux/version_14x/team

原创 阿里雲服務器(ECS)實戰--CentOS 7安裝Chrome瀏覽器

Chrome瀏覽器安裝 配置Chrome源 cd /etc/yum.repo.d/ vim google-chrome.repo 寫入Chrome源 [google-chrome] name=google-chrome ba

原创 阿里雲服務器(ECS)實戰--CentOS7安裝GUI圖形界面

安裝Gnome圖形界面程序 在安裝Gnome包之前,需要檢查一下安裝yum源是否正常,或替換爲國內的源,因爲需要在yum命令來安裝gnome。 # 通過yum安裝Gnome包 yum groupinstall "GNOME Des

原创 阿里雲服務器(ECS)實戰--CentOS 7安裝redis

什麼是redis Redis 是一個開源的多平臺數據存儲軟件,使用 ANSI C 編寫,直接在內存使用數據集,這使得它得以實現非常高的效率。Redis 支持多種編程語言,包括 Lua, C, Java, Python, Perl, P

原创 阿里雲服務器(ECS)實戰--CentOS 7安裝MongoDB

安裝 下載MongoDB數據庫安裝包 我們先在官網中,選擇相應的我們需要安裝的MongoDB版本,並提取下載鏈接,如:https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-4.0.

原创 阿里雲服務器(ECS)實戰--CentOS 7安裝Pycharm

安裝Pycharm 下載Pycharm安裝包 我們需要現在Pycharm官網上找到我們需要的版本安裝包,並提取下載鏈接。如: https://download.jetbrains.8686c.com/python/pycharm-pr

原创 阿里雲服務器(ECS)實戰--CentOS 7配置PATH

問題 在Linux系統安裝新的軟件或組件之類的,我們或多或少都會遇見類似這樣的問題 Linux:-bash: ***: command not found,系統很多命令都用不了,均提示沒有此命令。 分析 這其實就是我們系統的環境變量除

原创 雲服務器(ECS)實戰--CentOS 7 安裝Anaconda

前言: 雙十一的時候買了臺阿里雲(ECS),採用Centos7系統,40G的高效雲盤。這段時間一直就把放在那裏,差點賬號和密碼都忘了,當然,這是不可能的,經過幾天的構思,我決定,將我本地使用的Ubuntu服務器,轉移到阿里雲上,以此避

原创 阿里雲服務器(ECS)實戰--CentOS 7修改yum源爲阿里源

前言: 由於Cent OS 所自帶的yum源,並不是很好用,所以這裏將其更換爲阿里源。在更換源問題上,筆者個人感覺,是要比Ubuntu要方便一些,只需要簡單的傑哥命令,輕鬆搞定。下面我們就一起來看看,如何更換源吧! 第一步: # 操作