原创 電信集團政企項目爬蟲部分
電信集團政企項目爬蟲部分 1 項目用到的技術點有 scrapy scrapyd scrapyd-client docker docker-compose 2 需求是要爬取全國各個省級以及省會的招投標信息。之前做過浙江省級的招投標爬取
2019-03-11 14:23:25
原创 linux中docker的安裝與卸載
docker的安裝 ubuntu與centos7都可用的安裝方式: sudo wget -qO- https://get.docker.com | sh centos7可用的安裝方式 sudo yum install -y yum-
2019-03-10 03:03:54
原创 10分鐘安裝屬於自己的VPN服務
整個過程分三步： 1購買vps服務器 2在vps服務器中安裝shadowsocks服務端 3在本地安裝對應本地環境的shadowsocks客戶端 開始 購買VPS服務器 俗話說，萬事起頭難。想想倒也是這樣，也不是說購買VPS服務器有多難，
2019-03-06 20:00:50
原创 win7下利用virtualbox+vagrant配置linux虛擬機
win7下利用virtualbox+vagrant配置linux虛擬機 安裝順序 先要安裝virtualbox再安裝vagrant，在win7中，這兩個軟件都是不斷next安裝即可 virtualbox的下載地址鏈接：https://
2019-02-26 14:14:04
原创 ubuntu下安裝virtualbox+vagrant
1 virtualbox的安裝 virtualbox有deb版本，直接下載來後sudo dpkg -i xxx.deb https://pan.baidu.com/s/1TdE1oGwDOSkukA8Rwu1WJQ 提取碼：p4kw
2019-02-26 14:14:04
2
原创 docker經典實例學習筆記(第一章)
February 21, 2019 9:20 AM docker經典實例學習筆記(第一章) ubuntu中docker的安裝 sudo apt-get update sudo apt-get install wget sudo w
2019-02-22 03:46:33
原创 爬蟲產品開發安排
一 產品的功能特點 包括自定義抓取 以及 常備網站一鍵入庫抓取 支持自定義調度 版本更新無感，後期免維護 程序再抓取過程中出現問題會有郵件提醒 支持mysql oracle mongodb 支持異步入庫 支持restful接口 支持
2019-01-06 02:21:05
原创 讓pycharm利用docker的環境進行開發
pycharm要使用隔離的python環境的話,可以利用virtualenv,conda來創建 但是現在要通過docker的方式實現環境的隔離，例如要使用比較重的tensorflow來實現的話 有一個前提條件， 1 pycharm要使
2018-12-08 01:47:46
原创 ubuntu安裝以及必備軟件安裝完全手冊
1 首先下載ubuntu iso的鏡像文件，可以去網易鏡像中下載 我下載的版本是ubuntu-16.04.5-desktop-amd64 2 依照下面的網頁內容安裝好UltraISO軟件，通過該軟件將iso文件燒到u盤中 https://
2018-12-08 01:47:46
1
原创 mysql導入導出
mysql的導出： mysql的數據導出到外部是有限制的，查看限制的方式 show variables like '%secure%' secure_file_priv爲null 表示不允許導入導出 secure_file_priv
2018-12-08 01:47:46
原创 單線程下兩種相對高效的獲取數據的方法
1 方法一是通過requests.Session 一次性獲取TCP連接後，之後的請求可以共享 import requests import time headers = {"Content-Type":"application/jso
2018-11-28 13:30:42
原创 總結髮言：關於如何獲得quandl數據的兩種方法
背景介紹：quandl提供了很多免費數據，登上官網，註冊後就可以的得到api的key，一些常用的股票數據都可以得到。 我的系統是ubuntu系統 方法一： 也是最簡單的，自然是pip install Quandl 就ok啦。且慢 最新的
2018-09-18 10:05:32
180
原创 (轉載)device eth0 does not seem to be present, delaying initialization
vmlite虛擬機啓動出錯，就把這個虛擬機刪除掉重新建立，系統虛擬硬盤使用之前的，啓動系統後不能上網，通過ifconfig查看網卡沒啓動，遂啓動網卡服務，但是出錯，就是：device eth0 does not seem to be pre
2018-09-11 06:30:18
原创 自定義標籤的寫法
例如我們在一個html文檔中寫一個自定義的標籤<%@taglib uri="" prefix="c1"%> //uri是一個命名空間，perfix是一個前綴在html的正文中我們寫上 <c1: msg="" qty=""> /
2018-09-11 06:30:18
3
原创 json的使用
json是一種跨平臺的數據交換格式，相比與xml它更輕量，佔用資源更少，速度更快，但是它的格式較少，但對於ajax來說足夠了服務端把對象轉化成字符，用json傳送，數據被ajax對象接受後，被json轉化成對象，再顯示出來首先說說json的
2018-09-11 06:30:17