原创 python中tkinter的使用(控件整理)(一)

原文鏈接:https://blog.csdn.net/memory_qianxiao/article/details/81080654 1、使用tkinter.Tk() 生成主窗口(window

原创 Foxmail不能收取163郵件的解決辦法

進入網頁版網易郵箱 找到設置 查看自己的pop設置 點擊進去會顯示如下: 均爲勾選狀態 接着點擊客戶端授權密碼 設置爲打開狀態,此 授權碼 就是你登錄Foxmail的密碼

原创 美團酒店信息抓取,部分代碼

from selenium import webdriver import time from selenium.webdriver.chrome.options import Options def chrome_driver(

原创 性能測試相關分享

性能測試相關 1.爲什麼要做性能測試 .基於網絡的分佈式應用 .用戶數量增加-系統負載 .能夠承受的併發用戶數量 .帶寬-CPU-內存的佔用 .硬盤速度是否跟得上 .系統穩定性-響應時間 2.性能測試概念 -負載測試:Load Tes

原创 sql多表查詢 左連接 內連接 笛卡兒積

http://blog.csdn.net/cnham/archive/2008/06/25/2584936.aspx 在之前,我對MSSQL中的內連接和外連接所得出的數據集不是很清楚。這幾天重新溫習了一下SQL的書本,現在的思路應該是

原创 python 爬蟲技巧和注意事項

  爬蟲技巧: 1、基本抓取網頁 get方法   post方法   2.使用代理服務器 這在某些情況下比較有用, 比如IP被封了,或者比如IP訪問的次數受到限制等等。   3.Cookies處理   是的沒錯,如果想同時用代理和c

原创 ImportError: No module named PIL

ImportError: No module named PIL 錯誤解決       PIL 僅支持到 python2.7, 目前已經不再更新 我們目前使用的大多是python3, 因此我們可以下載 另外一個包pillow pip i

原创 scrapy去重方法實現

去重方法思想: 取所有需要保存的字段, 然後將其設置生成一段 hash 值, 再將該 hash 值作爲字段判斷每次存進去的字典內,是否包含該 hash 值 ,如果包含, 說明已經存在,pass掉,否則寫入 核心代碼:  生成 hash 值

原创 特殊字符的辨認 及消除(不斷補充)

表格**,**特殊字符—意義—消除方式 不斷補充~~~

原创 什麼是RESTful API?

要弄清楚什麼是RESTful API,首先要弄清楚什麼是REST。REST -- REpresentational State Transfer,英語的直譯就是“表現層狀態轉移”。如果看這個概念,估計沒幾個人能明白是什麼意思。那下面就讓我

原创 logging工作流程圖

原创 mongodb查詢 find({}) 與 find({}).count() 的 區別

scrapy 中mongodb 的查詢時:                       db.col.find({'xxx':'xxx'}) 返回的是對象,結果永遠爲True                       db.col.fi

原创 定時爬蟲示例

編寫一個腳本,將改腳本放置 爬蟲項目 同級目錄下     具體代碼如下 import datetime import time from scrapy import cmdline def spider(): # 把爬蟲程序放在

原创 python中日誌處理

1、日誌相關概念             日誌是一種可以追蹤某些軟件運行時所發生事件的方法。軟件開發人員可以向他們的代碼中調用日誌記錄相關的方法來表明發生了某些事情。一個事件可以用一個可包含可選變量數據的消息來描述。此外,事件也有重要性的

原创 Selenium 常用方法

獲取當前頁面的url 方法:current_url 實例:driver.current_url 獲取元素座標 方法:location 解釋:首先查找到你要獲取元素的,然後調用location方法 實例:driver.find_e