原创 使用神器Lombok優雅編碼
Lombok介紹 近來偶遇一款擼碼神器，介紹給大家~相信許多小夥伴都深有體會，POJO類中的千篇一律的getter/setter，constructor等方法讓人寫的揪心，那麼今天就有一種方法可以殘暴的解決這個問題。接下來爲大家介紹這款神器
2019-03-11 11:45:07
48
原创 Apache的基本使用
一. Apache簡介 Apache是世界使用排名第一的Web服務器軟件。它可以運行在幾乎所有廣泛使用的計算機平臺上，由於其跨平臺和安全性被廣泛使用，是最流行的Web服務器端軟件之一。 二. Apache安裝 注：以下操作均在Centos7
2019-02-10 16:32:56
原创 Redis快速入門
一.Redis簡介 1.非關係型數據庫（Nosql） 在瞭解Redis之前，我們需要先了解一下非關係型數據庫。 當前主流的關係型數據庫有Oracle、DB2、Microsoft SQL Server、MySQL等。非關係型數據庫有Cloud
2019-02-06 11:23:51
原创 logback的簡單使用
一、logback的介紹 Logback是由log4j創始人設計的又一個開源日誌組件，官方網站： http://logback.qos.ch。 logback當前分成三個模塊：logback-core,logback- classic和lo
2019-01-24 19:05:05
3
原创 使用代理處理反爬抓取微信文章
目標 使用代理反爬抓取微信文章，獲取文章標題、內容、公衆號等信息，並存儲到MongoDB數據庫中。 流程框架 如果要抓取微信公衆號文章可以使用搜狗的搜索引擎，它會顯示最新的文章，但是有兩個問題需要大家注意： 如果要抓取某一個主題（比如微信
2018-12-19 14:45:05
4
原创 使用Redis+Flask維護動態代理池
目標 爬蟲中經常遇到被封殺IP的情況,最有效的方式就是使用代理IP。我們可以在一些平臺上購買代理IP,但是價格比較昂貴。另外很多IP代理網站也提供了一些免費的代理IP,可以爬取下這些代理IP,並使用webAPI方式提供代理IP服務。 爲什麼
2018-12-09 15:55:02
8
原创 使用selenium模擬瀏覽器抓取淘寶商品美食信息
目標 通過Selenium模擬瀏覽器抓取淘寶商品美食信息，並存儲到MongoDB數據庫中。 流程框架 淘寶頁面比較複雜，含有各種請求參數和加密參數，如果直接請求或者分析Ajax將會非常繁瑣。Selenium是一個自動化測試工具，可以驅動瀏覽
2018-12-04 14:14:25
4
原创 Requests+正則表達式爬取貓眼電影
目標 通過Request+正則表達式爬取貓眼電影TOP100電影的排名、名字、電影封面圖片、主演、上映時間、貓眼評分，將爬取的內容寫入文件中。 流程框架 進入到貓眼電影TOP100的頁面，此時的URL爲http://maoyan.com/b
2018-12-04 11:55:20
3