原创 在sqlite中查看SpiderKeeper日誌
今天遇到了一個數據延時的問題，想要查看spiderkeeper 的日誌，找到spiderkeeper文件夾下的SpiderKeeper.db文件，用navicate打開發現報錯。 The database disk image i
2019-06-11 12:14:57
1
原创 python 字典轉字符串 中文編碼問題
python 字典轉字符串 中文編碼問題 字典轉字符串 json.dumps() 中文編碼問題： json.dumps(huoshan_dict["filter_words"], ensure_ascii=False)
2019-06-11 12:14:57
2
原创 Fiddler自動保存監聽的請求
Fiddler自動保存監聽的請求 僅僅在Fiddler中設置一下就行。 2018/12/28 親測可用 Fiddler 下 Rules------>Customize Rules----->修改request 和 resp
2018-12-29 18:34:06
5
原创 selenium+Phantomjs安裝（ubuntu）
Selenium是一個Web的自動化測試工具，最初是爲網站自動化測試而開發的，類型像我們玩遊戲用的按鍵精靈，可以按指定的命令自動操作，不同是Selenium 可以直接運行在瀏覽器上，它支持所有主流的瀏覽器（包括PhantomJS這些無
2018-12-23 18:07:01
原创 安裝Redis（ubuntu）
下載：打開redis官方網站，推薦下載穩定版本 解壓redis壓縮包 tar zxvf redis-3.2.5.tar.gz 複製：推薦放到usr/local目錄下 sudo mkdir /usr/local/redis su
2018-12-23 18:07:01
1
原创 安裝mongoDB(ubuntu環境下)
重新在 新電腦上安裝一下mongodb，順便記錄一下步驟： 1.安裝 到官網，選擇合適的版本下載，兩點注意根據業界規則，偶數爲穩定版，如1.6.X，奇數爲開發版，如1.7.X32bit的mongodb最大隻能存放2G的數據，64bit
2018-12-09 17:48:45
原创 面試手寫題
快排： 詳細解釋 def quick_sort(alist, start, end): if start >= end: # 退出遞歸 return pivot = alist[start
2018-12-07 18:07:41
原创 虛擬環境下安裝scrapy
最新換了臺電腦，需要重新配置一下新的環境，下面記錄一下scrapy的安裝流程 官方api安裝教程 1.先卸載之前的錯誤安裝 pip uninstall scrapy pip uninstall twisted 2.按照官方步
2018-12-07 18:07:41
原创 ubuntu 下安裝chrome瀏覽器
1、將google-chrome-stable_current_amd64軟件複製移動到家目錄下 2、打開終端，路徑在家目錄下 3、依次運行下面三條命令 sudo apt-get install google-chrome-stabl
2018-12-07 18:07:41
原创 各種網站爬蟲集合
各種網站爬蟲集合（私密） 百度旅遊、大衆點評、驢媽媽、貓途鷹、攜程關於評論的爬蟲總結 Python爬蟲：獲取鏈家，搜房，大衆點評的數據 爬取58同城的二手房信息 爬優信二手車 步驟 人人車二手車 京東 爬取豆瓣電影評論（scrapy+
2018-11-26 03:08:57
原创 Python中遍歷pandas數據的幾種方法介紹及效率對比
點擊原文 Pandas是python的一個數據分析包，提供了大量的快速便捷處理數據的函數和方法。 對pandas數據遍歷的幾種方法： 1.for…in循環迭代方式 2.iterrows()生成器方式 3.apply()方法循環方式 4
2018-11-22 03:06:18
原创 遞歸和尾遞歸優化
遞歸 遞歸簡而言之就是自己調用自己。使用遞歸解決問題的核心就是分析出遞歸的模型，看這個問題能拆分出和自己類似的問題並且有一個遞歸出口。比如最簡單的就5的階乘，可以把它拆分成5*4!，然後求4!又可以調用自己，這種問題顯然可以用遞歸解決
2018-11-20 03:23:42
原创 Selenium support for PhantomJS has been deprecated, please use headless
UserWarning: Selenium support for PhantomJS has been deprecated, please use headless versions of Chrome or Firefox in
2018-11-14 03:14:50