原创 Scrapy簡單入門及實例講解
Scrapy是一個爲了爬取網站數據，提取結構性數據而編寫的應用框架。 其可以應用在數據挖掘，信息處理或存儲歷史數據等一系列的程序中。其最初是爲了頁面抓取 (更確切來說, 網絡抓取 )所設計的， 也可以應用在獲取API所返回的數據(例如 A
2020-02-22 15:48:26
原创 利用Spring的propertyConfigurer類 讀取.property數據庫配置文件
1.Spring的框架中，org.springframework.beans.factory.config.PropertyPlaceholderConfigurer類可以將.properties(key/value形式)文
2020-02-22 15:48:26
原创 scrapy的xpath語法
Scrapy是基於python的開源爬蟲框架，使用起來也比較方便。具體的官網檔：http://doc.scrapy.org/en/latest/ 之前以爲了解python就可以直接爬網站了，原來還要了解HTML，XML的基本協議，在瞭
2020-02-22 15:48:26
原创 Python之自動單元測試之一（unittest使用實例）
Python之自動單元測試之一（unittest使用實例） 軟件的測試是一件非常乏味的事情，在測試別人編寫的軟件時尤其如此，程序員通常都只對編寫代碼感興趣，而不喜歡文檔編寫和軟件測試這類"沒有創新"的工作。既然如此，爲什麼不讓程序員在編
2020-02-22 15:48:26
原创 scrapy的docker部署
Docker環境部署 Docker安裝： 我使用的是企鵝的雲服務器，ubuntu 32位 網上有根多安裝教程，我找了個最簡單的 sudo apt-get install -y docker.io 如果安裝成功： docker info
2020-02-22 15:48:26
原创 Scrapyd部署爬蟲
Scrapyd部署爬蟲 準備工作 安裝scrapyd: pip install scrapyd 安裝scrapyd-client : pip install scrapyd-client 安裝curl:[安裝地址](http:
2020-02-22 15:48:26
原创 chrome插件 xpath-helper的安裝
瀏覽器地址欄輸入：chrome://extensions/ 點擊獲取更多程序 在應用商店搜索：XPath-Helper 點擊：添加至CHROME 點贊 收藏 分享 文章舉報 dr
2020-02-22 15:48:26
原创 Scrapy可視化管理軟件SpiderKeeper
通常開發好的Scrapy爬蟲部署到服務器上，要不使用nohup命令，要不使用scrapyd。如果使用nohup命令的話，爬蟲掛掉了，你可能還不知道，你還得上服務器上查或者做額外的郵件通知操作。如果使用scrapyd，就是部署爬蟲的時候有
2020-02-22 15:48:26
原创 nginx配置訪問密碼，讓用戶輸入用戶名密碼才能訪問
如果我們在 nginx 下搭建了一些站點，但是由於站點內容或者流量的關係，我們並不想讓所有人都能正常訪問，那麼我們可以設置訪問認證。只有讓用戶輸入正確的用戶名和密碼才能正常訪問。效果如下： 在 nginx 下，提供了 ngx_http_
2020-02-22 15:48:26
1
原创 drools規則引擎
http://blog.csdn.net/wo541075754/article/category/6397798/2 drools規則引擎文檔 點贊 收藏 分享 文章舉報
2020-02-22 15:48:26
原创 springboot整合jedisCluster
maven依賴 springboot整合jedisCluster相當簡單，maven依賴如下: <dependency> <groupId>org.springframework.boot</groupId> <ar
2020-02-22 15:48:26
原创 使用Scrapyd部署爬蟲
爲什麼要用Scrapyd？ Scrapyd是scrapinghub官方提供的爬蟲管理、部署、監控的方案之一，另一個是Scrapy Cloud。 官方對它的定義是 Scrapy Doc Scrapyd is an applicati
2020-02-22 15:48:26
原创 用Scrapy shell調試xpath
首先還是安利一下國內翻譯的scrapy文檔，雖然最新的翻譯版本是1.0版，scrapy已經出到1.3版，但是這份文檔仍然非常好用，只是有些版本差異帶來的小坑。 在命令行鍵入 scrapy shell1進入scrapy shell終端，如
2020-02-22 15:48:26
原创 spring cloud 地址備註一下euth
http://blog.csdn.net/forezp/article/details/70148833 spring cloud 地址http:
2020-02-22 15:48:26