原创 Python_爬蟲_三

Request 使用request庫比urllib更加的方便 response.context 和 response.text的區別: response.context返回bytes,未解碼 response.text返回str,

原创 正則表達式

正則表達式的常用匹配規則 1、匹配某個字符串 text = 'hellohello' ret = re.match('he', text) print(ret) print(ret.group()) 2、點(.)匹配任意的字符

原创 使用pymysql連接mysql數據庫

建立鏈接 import pymysql conn = pymysql.connect( host='localhost', user='root', password='1111111', por

原创 python處理csv文件

Python讀取csv文件 1、使用列表的方式讀取 import csv with open('1.csv', 'r', encoding='utf-8') as fp: # reader是一個迭代器 reade

原创 BeautifulSoup的使用

1、初始化BeautifulSoup對象 url = 'https://hr.163.com/position/list.do?workPlaceStr=1&currentPage=1' resp = requests.get(u

原创 Python_爬蟲_四(XPath)

XPath 什麼是XPath xpath(XML Path Language)是一門在XML和HTML文檔中查找信息的語言,可以用來在XML和HTML文檔中對元素和屬性進行遍歷。 XPath開發工具 chrome插件XPa

原创 json文件處理

JSON支持數據格式 1、對象(字典)。使用花括號 2、列表(數組)。使用方括號 3、整形、浮點數、布爾類型還有null類型 4、字符串類型(字符串必須要用雙引號,不能用單引號) 多個數據之間使用逗號分開 注意:json本質上就是

原创 裝飾器_一(Pyhton中的閉包)

· 閉包 閉包是什麼: 如果在一個函數中,定義了另外一個函數,並且那個函數使用了外函數的變量,並且外邊那個函數返回了裏邊這個函數的引用。那麼稱爲裏邊的這個函數爲閉包。例如: def greater(name): def s

原创 Python_爬蟲_二

代理 ProxyHandler處理器(代理) 1、代理的原理:在請求目的網站之前,先請求代理服務器,然後讓代理服務器去請求目的網站,代理服務器拿到目的服務器的網站數據後,再轉發給我們的代碼。 2、http://httpbin.or

原创 Python動態添加屬性和方法

動態添加屬性,就是這個屬性不是在類定義的時候添加的,而是在程序運行過程中添加的,動態添加屬性有兩種方法,第一個是直接通過對象名.屬性名,第二個是通過setattr添加: 1、第一種:使用對象.屬性名添加: p.ageb= 18 2

原创 裝飾器_三(小案例)

實現flask中url和視圖函數之間的映射 -- coding: UTF-8 -- from functools import wraps user = {‘is_login’: True} class Flask: def in

原创 裝飾器_二(自定義裝飾器)

什麼是裝飾器: 裝飾器利用了函數也可以作爲參數傳遞和閉包的特性,可以讓我們的函數在執行之前或者執行之後方便的添加一些代碼。這樣就可以做很多的事情了,比如@classmethod裝飾器可以將一個普通的方法置爲類方法,@staticm

原创 Python迭代器和生成器

· 迭代器 什麼是迭代器: 迭代器可以讓我們訪問集合的時候變得非常方便。之前我們通過for…in…來訪問一個集合的時候,就是使用迭代器完成的。 如果沒有迭代器,那麼我們只能通過while循環,每次循環的時候通過下標來訪問了。 可迭

原创 Python_爬蟲_1

1、urlopen函數 在python3的urlib庫中,所有和網絡請求相關的方法,都在urlib.request模塊下,urlopen函數的基本使用: from urllib import request resp = requ

原创 【Flask學習筆記(1)】_

1、使用Pytcharm新建一個Flask項目。注意pycharm的專業版纔可以新建Flask工程,社區版本是沒有這個功能的。 2、DEBUG模式 1)在app.run()中開啓debug開關 2)使用app.debug=Tru