原创 反爬蟲策略
目錄 一 通過請求頭來控制訪問 二 通過IP限制來反爬蟲 三 通過JS腳本來防止爬蟲 四 配置ssl,採用繞過證書驗證實現https 一 通過請求頭來控制訪問 無論是瀏覽器還是爬蟲程序，在向服務器發起網絡請求的時候，都會發過去一
2018-10-20 11:38:42
原创 IP代理池設計(抓取，清洗)
目錄 簡述 IP代理 免費抓取IP代理 清洗IP代理算法設計 簡述 使用IP代理請求目標頁面可以避免IP限流。以爬取淘寶商品信息背景爲例，如果使用單個IP頻繁的請求淘寶網站，就會被淘寶平臺識別，返回的接口信息會報“請求被擠爆了...
2018-10-20 11:38:42
1
原创 Java程序員必備的Intellij插件
善用Intellij插件可大幅提升我們的效率，以下是我用過不錯的Intellij插件，分享給大家希望能幫到大家。 1. .ignore 地址： https://plugins.jetbrains.com/plugin/7495--
2018-09-15 01:08:15
原创 vmware橋接解決DHCP不能自動獲取IP
使用VMware創建CentOS7.0虛擬機，有一段時間掛起重啓，發現網絡連接不上，ping 網關也不同。經過分析 ，發現本地host主機新增了虛擬機的以太網網卡。把多餘網卡禁用掉之後，發現可以正常獲取。 原因：虛擬機橋接會自動分
2018-09-15 01:08:15
原创 Docker跨主機連接————docker swarm模式
目錄 一、前言 二、總體架構圖 三、創建Swarm 集羣 四、構建Overlay network 五、部署服務 六、驗證測試 一、前言 當我們開發好微服務（筆者是基於SpringCloud開發的微服務）之後，考慮到靈活
2018-09-15 01:08:15
原创 Docker可視化管理工具————Shipyard
目錄 一、 Docker Shipyard是什麼 ？ 二、 Shipyard中文版源碼託管在github(傳送門)。 三、shipyard中文版安裝(CentOS) 四、 如何使用 五、安裝腳本下載 一、 Docker Shipyar
2018-09-15 01:08:11
6
原创 Java 自定義讀取Excel文件
項目依賴包 <dependency> <groupId>xml-apis</groupId> <artifactId>xml-apis</artifactId>
2018-09-04 21:08:28
原创 Python慕課網筆記（二）
Python創建list Python內置的一種數據類型是列表：list。list是一種有序的集合，可以隨時添加和刪除其中的元素。 比如，列出班裏所有同學的名字，就可以用一個list表示： >>> ['Michael', 'Bob',
2018-09-04 21:08:28
原创 Python 慕課網筆記（一）
Python中數據類型 一、整數 Python可以處理任意大小的整數，當然包括負整數，在Python程序中，整數的表示方法和數學上的寫法一模一樣，例如：1，100，-8080，0，等等。 計算機由於使用二進制，所以，有時候用十六進制表示整
2018-09-04 21:08:28
原创 Python慕課網筆記（三）
Python之什麼是函數 我們知道圓的面積計算公式爲： S = πr² 當我們知道半徑r的值時，就可以根據公式計算出面積。假設我們需要計算3個不同大小的圓的面積： r1 = 12.34 r2 = 9.08 r3 = 73.1 s1
2018-09-04 21:08:28
原创 linux內核Tcp性能調優
前言： Tcp/ip協議對網絡編程的重要性，進行過網絡開發的人員都知道，我們所編寫的網絡程序除了硬件，結構等限制，通過修改Tcp/ip內核參數也能得到很大的性能提升， 下面就列舉一些Tcp/ip內核參數，解釋它們的含義並通過修改來它們來優
2018-09-04 21:08:27
34
原创 Java性能調優
#!/bin/sh webproxy_id=`ps -ef|grep ProxyPoolRMIImpl |grep -v "grep" | awk '{print $2}'` echo $webproxy_id for id in $w
2018-09-04 21:08:27
2
原创 Linux使用Shell定時清理日誌文件
①根據進程名查找ProxyPoolRMIImpl進程，找到關聯進程PID，終止這些進程。②刪除該進程產生的日誌文件。③重啓服務#!/bin/sh webproxy_id=`ps -ef|grep ProxyPoolRMIImpl |gre
2018-09-04 21:08:27
2
原创 swagger+springmvc接口在線文檔完美整合
Swagger 是一個規範和完整的框架，用於生成、描述、調用和可視化RESTful風格的Web服務。Swagger是世界上最大的API開發框架，它能使後端的接口形成API文檔。使用Swagger可以讓前後端開發更高效，使代碼解耦，減少前後
2018-09-04 21:08:27
3
原创 maven手動上傳Jar包到nexus私服命令
1 在本地電腦安裝maven環境配置，運行 mvn -version 檢查是否正確安裝成功 2 將要上傳的包拷貝到文件夾中 3 在當前文件夾中打開命令窗口 4 運行maven上傳jar包命令（包含release版本和snapshots
2018-09-04 21:08:27