原创 windows下的scrapyd-deploy無法運行的解決辦法
在windows環境中，當我們需要部署scrapy項目到服務器時，常用到scrapyd，作爲部署管理工具，在服務器端安裝scrapyd並運行後，就可以正常使用。但是，當我們需要將windows本地的scrapy項目部署到服務器上時，需要安
2020-05-14 20:45:32
原创 使用scrapyd 管理爬蟲
scrapyd 是由scrapy 官方提供的爬蟲管理工具，使用它我們可以非常方便地上傳、控制爬蟲並且查看運行日誌。 參考官方文檔：http://scrapyd.readthedocs.org/en/latest/api.html 使用sc
2020-05-14 20:45:32
原创 Spring IO Platform：解決依賴版本衝突
版本衝突現狀 在使用Spring的時候，經常會使用到第三方庫，一般大家都是根據經驗挑選一個版本號或挑選最新的，隨意性較大，其實這是有問題的，除非做過完整的測試，保證集成該版本的依賴不會出現問題，且後續集成其它第三方庫的時候也不會出現問題，
2020-05-12 09:42:09
原创 CentOS7下Nginx的安裝與配置
Nginx("engine x")是一個高性能的HTTP和反向代理web服務器，同時也可以作爲IMAP/POP3/SMTP的代理服務器來使用。 Nginx安裝 安裝工具庫 yum -y install make zlib zlib-d
2020-05-07 01:40:51
原创 使用PicGo快速搭建圖牀
PicGo是一個用於快速上傳圖片並獲取圖片URL鏈接的工具，目前支持七牛雲，騰訊雲COS，又拍雲，GitHub，阿里雲OSS，imgur 等多種常用圖牀，功能強大，簡單易用。 通過這個教程，你將學會如何通過 github 和 picgo
2020-04-30 21:34:51
2
原创 效率神器----QuickLook
QuickLook：像 macOS 通過空格鍵快速查看文件內容。可以快速查看文件夾信息；快速預覽圖片、音視頻、壓縮文件； 甚至是文檔、表格、演示文稿文件或是 PDF 文件。 一、功能舉例 （1）文件夾 可以查看最後修改的時間以及包含文件數
2020-04-30 21:34:51
原创 效率神器----WOX
想必用過mac的人都會知道一款效率神器Alfred，可快速啓動、計算、查找等，使用起來非常的方便。Win上面也有類似的效率神器，比如Listary和WOX。 今天介紹的神器是WOX，這個真的算是每天必用的一款軟件。用起來非常的舒服，得心應
2020-04-30 21:34:51
原创 python如何更改pip源
python默認的pip源在國外，如果下載比較大的第三方庫時可能會非常非常慢，甚至會報錯，所以爲了有一個更加友好的python使用體驗，建議爲python的pip換一下源。 命令行加參數的方法 # 用默認源下載 pip install
2020-04-28 05:28:32
原创 MySQL配置參數大全
名稱 是否需要重啓 值 允許值 描述 auto_increment_increment 否 1 1～65,535 auto_increment_increment和auto_increment_offset 用於master-to-mas
2020-04-28 05:28:32
原创 Windows下安裝MYSQL 8.0.19
（1）下載安裝包文件。 官網地址：https://dev.mysql.com/downloads/mysql/ 選擇下載 mysql-8.0.19-winx64.zip。 （2）解壓文件到安裝目錄 我的安裝目錄是 “D:\Program
2020-04-28 05:28:32
原创 數據可視化-Seaborn畫圖原來這麼好看
matplotlib是python最常見的繪圖包，強大之處不言而喻。然而在數據科學領域，可視化庫-Seaborn也是重量級的存在。 由於matplotlib比較底層，想要繪製漂亮的圖非常麻煩，需要寫大量的代碼。 Seaborn是在matp
2020-04-21 02:14:42
原创 IDEA本地調試Map-Reduce程序
環境準備 安裝Hadoop 訪問 Hadoop官網 ，下載Hadoop到Windows本地 ，本例中下載的是 hadoop-3.0.0.tar.gz 。 將 Hadoop 解壓到合適的目錄，並設置環境變量： HADOOP_HOME=C:
2020-04-21 02:14:41
原创 Jenkins歷史版本下載
http://mirrors.jenkins.io/ Binaries debian osx opensuse redhat war windows Releases debian osx opensuse redhat war wi
2020-04-21 02:14:41
原创 virtualenv簡明教程
virtualenv簡介 在開發Python應用程序的時候，我們的系統上通常只會安裝一個Python版本：例如 3.7。所有使用 pip 安裝的第三方包都會被安裝到Python的site-packages目錄下。如果我們同時開發多個應用程
2020-04-21 02:14:41
原创 Hbase原理簡介
HBase簡介 HBase是一個構建在HDFS上的、分佈式的、面向列的開源數據庫，它是Apache Hadoop生態系統中的重要一員。 與mysql、oracle等關係型數據庫RDBMS基於行模式的存儲不同，HBase是基於列模式進
2020-03-31 15:58:59