原创 python scrapy對抓取數據後的存儲 sqilte3的安裝

對於抓取數據量,鏈接數不是很大的情況下,可以選sqlite作爲存儲數據庫。sqlite輕巧,操作方便,快速。不像mysql那樣龐大。 centos下python2.7 scrapy0.16 ,默認情況下,沒有sqlite模塊,我們要自己安

原创 linux curl命令出現錯誤: [globbing] illegal character in range specification at pos 84

在Linux命令行輸入 curl 'http://test.com/interface/task?dd=1&json=[]'  出現錯誤: curl: (3) [globbing] illegal character in range s

原创 對vpn的認識

網上關於vpn的資料很多,看後眼花繚亂,仍然感覺一片混沌。網上,網下參考一些資料後。試着理清一些概念問題,因爲,概念理清了,找到門了,才不至於左右徘徊,一片混沌。 首先vpn,這個我們都知道叫虛擬專用網絡。於是進一步問,虛擬專用網絡具體

原创 python scrapy開源項目學習

定製網絡蜘蛛,現成的用Python寫的開源項目scrapy,下載源代碼,在Linux系統安裝。然後就可以用了。 這個項目的架構不是怎麼複雜,但作爲Python的初學者,看到這個項目的這麼多代碼,徹底暈了。俗話說,萬事開頭難,確實,開始不知

原创 win7下 LoadRunner 11 LoadLibrary(mybean.dll) failed : 應用程序無法啓動,因爲應用程序的並行配置不正確。有關詳細信息,請參閱應用程序事件日誌,或使

LoadLibrary(mybean.dll) failed : 應用程序無法啓動,因爲應用程序的並行配置不正確。有關詳細信息,請參閱應用程序事件日誌,或使用命令行 sxstrace.exe 工具 出現這樣錯誤是因爲系統缺少某些運行庫,

原创 Android 開發環境搭建---elipse 安裝ADT問題

下載ADT包後,點擊安裝,卡在Calculating requirements and dependencies. 解決方法:斷開電腦的網絡連接即可 來源:http://blog.163.com/denglijunqq@126/blog

原创 bt編碼格式和種子文件結構

Bencoding編碼格式: 關於這個格式的定義,基本上還是比較簡明的,B編碼總共只支持4種類型,既整數,字符串,列表和字典。整數以i標記開頭以e標記結尾,中間是整數數字,字符串以:標記開頭然後根接字符串的長度,最後是字符串內容,列表以l