Python基礎3

Python之路,Day3 - Python基礎3

本節內容

1. 函數基本語法及特性

2. 參數與局部變量

3. 返回值

嵌套函數

4. 遞歸

5. 匿名函數

6. 函數式編程介紹

7. 高階函數

8. 內置函數

溫故知新

---

1.集合

主要作用:

• 去重
• 關係測試， 交集＼差集＼並集＼反向(對稱)差集

例：

>>> a = {1,2,3,4}
>>> b ={3,4,5,6}
>>> a
{1, 2, 3, 4}
>>> type(a)
<class 'set'>
>>> a.symmetric_difference(b)
{1, 2, 5, 6}
>>> b.symmetric_difference(a)
{1, 2, 5, 6}
>>>
>>>
>>> a.difference(b)
{1, 2}
>>> a.union(b)
{1, 2, 3, 4, 5, 6}
>>> a.issu
a.issubset(   a.issuperset(
>>> a.issubset(b)
False

2.元組

只讀列表，只有count, index 2 個方法

作用：如果一些數據不想被人修改， 可以存成元組，比如×××列表

3.字典

1. key-value對
2. 特性：
3. 無順序
4. 去重
5. 查詢速度快，比列表快多了
6. 比list佔用內存多

7. 爲什麼會查詢速度會快呢？因爲他是hash類型的，那什麼是hash呢？

哈希算法將任意長度的二進制值映射爲較短的固定長度的二進制值，這個小的二進制值稱爲哈希值。哈希值是一段數據唯一且極其緊湊的數值表示形式。如果散列一段明文而且哪怕只更改該段落的一個字母，隨後的哈希都將產生不同的值。要找到散列爲同一個值的兩個不同的輸入，在計算上是不可能的，所以數據的哈希值可以檢驗數據的完整性。一般用於快速查找和加密算法

dict會把所有的key變成hash 表，然後將這個表進行排序，這樣，你通過data[key]去查data字典中一個key的時候，python會先把這個key hash成一個數字，然後拿這個數字到hash表中看沒有這個數字， 如果有，拿到這個key在hash表中的索引，拿到這個索引去與此key對應的value的內存地址那取值就可以了。

上面依然沒回答這樣做查找一個數據爲什麼會比列表快，對不對？ 呵呵，等我課上揭曉。

4.字符編碼

先說python2

1. py2裏默認編碼是ascii
2. 文件開頭那個編碼聲明是告訴解釋這個代碼的程序 以什麼編碼格式 把這段代碼讀入到內存，因爲到了內存裏，這段代碼其實是以bytes二進制格式存的，不過即使是2進制流，也可以按不同的編碼格式轉成2進制流，你懂麼？
3. 如果在文件頭聲明瞭#__coding:utf-8_，就可以寫中文了， 不聲明的話，python在處理這段代碼時按ascii，顯然會出錯， 加了這個聲明後，裏面的代碼就全是utf-8格式了
4. 在有#__coding:utf-8_的情況下，你在聲明變量如果寫成name=u"大保健"，那這個字符就是unicode格式，不加這個u,那你聲明的字符串就是utf-8格式
5. utf-8 to gbk怎麼轉，utf8先decode成unicode,再encode成gbk

再說python3

1. py3裏默認文件編碼就是utf-8,所以可以直接寫中文，也不需要文件頭聲明編碼了，乾的漂亮
2. 你聲明的變量默認是unicode編碼，不是utf-8, 因爲默認即是unicode了（不像在py2裏，你想直接聲明成unicode還得在變量前加個u）, 此時你想轉成gbk的話，直接your_str.encode("gbk")即可以
3. 但py3裏，你在your_str.encode("gbk")時，感覺好像還加了一個動作，就是就是encode的數據變成了bytes裏，我擦，這是怎麼個情況，因爲在py3裏，str and bytes做了明確的區分，你可以理解爲bytes就是2進制流，你會說，我看到的不是010101這樣的2進制呀， 那是因爲python爲了讓你能對數據進行操作而在內存級別又幫你做了一層封裝，否則讓你直接看到一堆2進制，你能看出哪個字符對應哪段2進制麼？什麼？自己換算，得了吧，你連超過2位數的數字加減運算都費勁，還還是省省心吧。　　
4. 那你說，在py2裏好像也有bytes呀，是的，不過py2裏的bytes只是對str做了個別名(python2裏的str就是bytes, py3裏的str是unicode)，沒有像py3一樣給你顯示的多出來一層封裝，但其實其內部還是封裝了的。 這麼講吧， 無論是2還是三， 從硬盤到內存，數據格式都是 010101二進制到-->b'\xe4\xbd\xa0\xe5\xa5\xbd' bytes類型－－>按照指定編碼轉成你能看懂的文字
   編碼應用比較多的場景應該是爬蟲了，互聯網上很多網站用的編碼格式很雜，雖然整體趨向都變成utf-8，但現在還是很雜，所以爬網頁時就需要你進行各種編碼的轉換，不過生活正在變美好，期待一個不需要轉碼的世界。

最後，編碼is a piece of fucking shit, noboby likes it.

1.函數基本語法及特性

背景提要

現在老闆讓你寫一個監控程序，監控服務器的系統狀況，當cpu＼memory＼disk等指標的使用量超過閥值時即發郵件報警，你掏空了所有的知識量，寫出了以下代碼

while True：
    if cpu利用率 > 90%:
        #發送郵件提醒
        連接郵箱服務器
        發送郵件
        關閉連接

    if 硬盤使用空間 > 90%:
        #發送郵件提醒
        連接郵箱服務器
        發送郵件
    關閉連接

    if 內存佔用 > 80%:
        #發送郵件提醒
        連接郵箱服務器
        發送郵件
        關閉連接

上面的代碼實現了功能，但即使是鄰居老王也看出了端倪，老王親切的摸了下你家兒子的臉蛋，說，你這個重複代碼太多了，每次報警都要重寫一段發郵件的代碼，太low了，這樣幹存在2個問題：

1. 代碼重複過多，一個勁的copy and paste不符合高端程序員的氣質
2. 如果日後需要修改發郵件的這段代碼，比如加入羣發功能，那你就需要在所有用到這段代碼的地方都修改一遍

你覺得老王說的對，你也不想寫重複代碼，但又不知道怎麼搞，老王好像看出了你的心思，此時他抱起你兒子，笑着說，其實很簡單，只需要把重複的代碼提取出來，放在一個公共的地方，起個名字，以後誰想用這段代碼，就通過這個名字調用就行了，如下

def 發送郵件(內容)
    #發送郵件提醒
    連接郵箱服務器
    發送郵件
    關閉連接

while True：

    if cpu利用率 > 90%:
        發送郵件('CPU報警')

    if 硬盤使用空間 > 90%:
        發送郵件('硬盤報警')

    if 內存佔用 > 80%:
        發送郵件('內存報警')

你看着老王寫的代碼，氣勢恢宏、磅礴大氣，代碼裏透露着一股內斂的傲氣，心想，老王這個人真是不一般，突然對他的背景更感興趣了，問老王，這些花式玩法你都是怎麼知道的？ 老王親了一口你兒子，捋了捋不存在的鬍子，淡淡的講，“老夫，年少時，師從京西沙河淫魔銀角大王 ”， 你一聽“銀角大王”這幾個字，不由的嬌軀一震，心想，真nb,怪不得代碼寫的這麼6, 這“銀角大王”當年在江湖上可是數得着的響噹噹的名字，只可惜後期縱慾過度，卒於公元2016年， 真是可惜了，只留下其哥哥孤守當年兄弟倆一起打下來的江山。 此時你看着的老王離開的身影，感覺你兒子跟他越來越像了。。。

函數是什麼?

函數一詞來源於數學，但編程中的「函數」概念，與數學中的函數是有很大不同的，具體區別，我們後面會講，編程中的函數在英文中也有很多不同的叫法。在BASIC中叫做subroutine(子過程或子程序)，在Pascal中叫做procedure(過程)和function，在C中只有function，在Java裏面叫做method。

定義: 函數是指將一組語句的集合通過一個名字(函數名)封裝起來，要想執行這個函數，只需調用其函數名即可
特性:

• 減少重複代碼
• 使程序變的可擴展
• 使程序變得易維護
• 語法定義

例

def sayhi():#函數名
    print("Hello, I'm nobody!")

sayhi() #調用函數

可以帶參數

#下面這段代碼
a,b = 5,8
c = a**b
print(c)

#改成用函數寫
def calc(x,y):
    res = x**y
    return res #返回函數執行結果

c = calc(a,b) ＃結果賦值給c變量
print(c)

2.函數參數與局部變量

形參變量只有在被調用時才分配內存單元，在調用結束時，即刻釋放所分配的內存單元。因此，形參只在函數內部有效。函數調用結束返回主調用函數後則不能再使用該形參變量

實參可以是常量、變量、表達式、函數等，無論實參是何種類型的量，在進行函數調用時，它們都必須有確定的值，以便把這些值傳送給形參。因此應預先用賦值，輸入等辦法使參數獲得確定值

默認參數

看下面代碼

def stu_register(name,age,country,course):
    print("----註冊學生信息------")
    print("姓名:",name)
    print("age:",age)
    print("國籍:",country)
    print("課程:",course)

stu_register("王山炮",22,"CN","python_devops")
stu_register("張叫春",21,"CN","linux")
stu_register("劉老根",25,"CN","linux")

發現 country 這個參數 基本都 是"CN", 就像我們在網站上註冊用戶，像國籍這種信息，你不填寫，默認就會是 中國， 這就是通過默認參數實現的，把country變成默認參數非常簡單

def stu_register(name,age,course,country="CN"):

這樣，這個參數在調用時不指定，那默認就是CN，指定了的話，就用你指定的值。

另外，你可能注意到了，在把country變成默認參數後，我同時把它的位置移到了最後面，爲什麼呢？　　

關鍵參數
正常情況下，給函數傳參數要按順序，不想按順序就可以用關鍵參數，只需指定參數名即可，但記住一個要求就是，關鍵參數必須放在位置參數之後。

stu_register(age=22,name='alex',course="python",)

　　

非固定參數

若你的函數在定義時不確定用戶想傳入多少個參數，就可以使用非固定參數

def stu_register(name,age,*args): # *args 會把多傳入的參數變成一個元組形式
    print(name,age,args)

stu_register("Alex",22)
#輸出
#Alex 22 () #後面這個()就是args,只是因爲沒傳值,所以爲空

stu_register("Jack",32,"CN","Python")
#輸出
# Jack 32 ('CN', 'Python')

還可以有一個**kwargs

def stu_register(name,age,*args,**kwargs): # *kwargs 會把多傳入的參數變成一個dict形式
    print(name,age,args,kwargs)

stu_register("Alex",22)
#輸出
#Alex 22 () {}#後面這個{}就是kwargs,只是因爲沒傳值,所以爲空

stu_register("Jack",32,"CN","Python",sex="Male",province="ShanDong")
#輸出
# Jack 32 ('CN', 'Python') {'province': 'ShanDong', 'sex': 'Male'}

局部變量　　

name = "Alex Li"

def change_name(name):
    print("before change:",name)
    name = "金角大王,一個有Tesla的男人"
    print("after change", name)

change_name(name)

print("在外面看看name改了麼?",name)

輸出

before change: Alex Li
after change 金角大王,一個有Tesla的男人
在外面看看name改了麼? Alex Li

全局與局部變量

在子程序中定義的變量稱爲局部變量，在程序的一開始定義的變量稱爲全局變量。
全局變量作用域是整個程序，局部變量作用域是定義該變量的子程序。
當全局變量與局部變量同名時：
在定義局部變量的子程序內，局部變量起作用；在其它地方全局變量起作用。

3.返回值

要想獲取函數的執行結果，就可以用return語句把結果返回

注意:

1. 函數在執行過程中只要遇到return語句，就會停止執行並返回結果，so 也可以理解爲 return 語句代表着函數的結束
2. 如果未在函數中指定return,那這個函數的返回值爲None
   　　

強行插入知識點: 嵌套函數　　
看上面的標題的意思是，函數還能套函數？of course

name = "Alex"

def change_name():
    name = "Alex2"

    def change_name2():
        name = "Alex3"
        print("第3層打印",name)

    change_name2() #調用內層函數
    print("第2層打印",name)

change_name()
print("最外層打印",name)

此時，在最外層調用change_name2()會出現什麼效果？

沒錯， 出錯了， 爲什麼呢？

嵌套函數的用法會了，但它有什麼用呢？下節課揭曉。。。

　　

4.遞歸

在函數內部，可以調用其他函數。如果一個函數在內部調用自身本身，這個函數就是遞歸函數。

def calc(n):
    print(n)
    if int(n/2) ==0:
        return n
    return calc(int(n/2))

calc(10)

輸出：

10
5
2
1

遞歸特性:

1. 必須有一個明確的結束條件

2. 每次進入更深一層遞歸時，問題規模相比上次遞歸都應有所減少

3. 遞歸效率不高，遞歸層次過多會導致棧溢出（在計算機中，函數調用是通過棧（stack）這種數據結構實現的，每當進入一個函數調用，棧就會加一層棧幀，每當函數返回，棧就會減一層棧幀。由於棧的大小不是無限的，所以，遞歸調用的次數過多，會導致棧溢出）

堆棧掃盲http://www.cnblogs.com/lln7777/archive/2012/03/14/2396164.html

遞歸函數實際應用案例，二分查找

data = [1, 3, 6, 7, 9, 12, 14, 16, 17, 18, 20, 21, 22, 23, 30, 32, 33, 35]

def binary_search(dataset,find_num):
    print(dataset)

    if len(dataset) >1:
        mid = int(len(dataset)/2)
        if dataset[mid] == find_num:  #find it
            print("找到數字",dataset[mid])
    elif dataset[mid] > find_num :# 找的數在mid左面
            print("\033[31;1m找的數在mid[%s]左面\033[0m" % dataset[mid])
            return binary_search(dataset[0:mid], find_num)
    else:# 找的數在mid右面
            print("\033[32;1m找的數在mid[%s]右面\033[0m" % dataset[mid])
            return binary_search(dataset[mid+1:],find_num)
    else:
        if dataset[0] == find_num:  #find it
            print("找到數字啦",dataset[0])
    else:
            print("沒的分了,要找的數字[%s]不在列表裏" % find_num)

binary_search(data,66)

　　

5.匿名函數

匿名函數就是不需要顯式的指定函數

#這段代碼
def calc(n):
    return n**n
print(calc(10))

#換成匿名函數
calc = lambda n:n**n
print(calc(10))

你也許會說，用上這個東西沒感覺有毛方便呀， 。。。。呵呵，如果是這麼用，確實沒毛線改進，不過匿名函數主要是和其它函數搭配使用的呢，如下

res = map(lambda x:x**2,[1,5,7,4,8])
for i in res:
    print(i)

輸出

1
25
49
16
64

6.函數式編程介紹

函數是Python內建支持的一種封裝，我們通過把大段代碼拆成函數，通過一層一層的函數調用，就可以把複雜任務分解成簡單的任務，這種分解可以稱之爲面向過程的程序設計。函數就是面向過程的程序設計的基本單元。

函數式編程中的函數這個術語不是指計算機中的函數（實際上是Subroutine），而是指數學中的函數，即自變量的映射。也就是說一個函數的值僅決定於函數參數的值，不依賴其他狀態。比如sqrt(x)函數計算x的平方根，只要x不變，不論什麼時候調用，調用幾次，值都是不變的。

Python對函數式編程提供部分支持。由於Python允許使用變量，因此，Python不是純函數式編程語言。

一、定義

簡單說，"函數式編程"是一種"編程範式"（programming paradigm），也就是如何編寫程序的方法論。

主要思想是把運算過程儘量寫成一系列嵌套的函數調用。舉例來說，現在有這樣一個數學表達式：

　　(1 + 2) * 3 - 4

傳統的過程式編程，可能這樣寫：

　　var a = 1 + 2;

　　var b = a * 3;

　　var c = b - 4;

函數式編程要求使用函數，我們可以把運算過程定義爲不同的函數，然後寫成下面這樣：

　　var result = subtract(multiply(add(1,2), 3), 4);

這段代碼再演進以下，可以變成這樣

add(1,2).multiply(3).subtract(4)

這基本就是自然語言的表達了。再看下面的代碼，大家應該一眼就能明白它的意思吧：

merge([1,2],[3,4]).sort().search("2")

因此，函數式編程的代碼更容易理解。

要想學好函數式編程，不要玩py,玩Erlang,Haskell, 好了，我只會這麼多了。。。

7.高階函數

變量可以指向函數，函數的參數能接收變量，那麼一個函數就可以接收另一個函數作爲參數，這種函數就稱之爲高階函數。

def add(x,y,f):
    return f(x) + f(y)

res = add(3,-6,abs)
    print(res)

8. 內置參數　　

內置參數詳解 https://docs.python.org/3/library/functions.html?highlight=built#ascii

幾個內置方法用法提醒

#compile
f = open("函數遞歸.py")
data =compile(f.read(),'','exec')
exec(data)

#print
msg = "又回到最初的起點"
f = open("tofile","w")
print(msg,"記憶中你青澀的臉",sep="|",end="",file=f)

# #slice
# a = range(20)
# pattern = slice(3,8,2)
# for i in a[pattern]: #等於a[3:8:2]
#   print(i)
#
#

#memoryview
#usage:
#>>> memoryview(b'abcd')
#<memory at 0x104069648>
#在進行切片並賦值數據時，不需要重新copy原列表數據，可以直接映射原數據內存，
import time
for n in (100000, 200000, 300000, 400000):
    data = b'x'*n
    start = time.time()
    b = data
    while b:
        b = b[1:]
    print('bytes', n, time.time()-start)

for n in (100000, 200000, 300000, 400000):
    data = b'x'*n
    start = time.time()
    b = memoryview(data)
    while b:
        b = b[1:]
    print('memoryview', n, time.time()-start)

本節作業

有以下員工信息表

當然此表你在文件存儲時可以這樣表示

1,Alex Li,22,13651054608,IT,2013-04-01

現需要對這個員工信息文件，實現增刪改查操作

1. 可進行模糊查詢，語法至少支持下面3種:
   • select name,age from staff_table where age > 22
   • select * from staff_table where dept = "IT"
   • select * from staff_table where enroll_date like "2013"
   • 查到的信息，打印後，最後面還要顯示查到的條數
2. 可創建新員工紀錄，以phone做唯一鍵，staff_id需自增
3. 可刪除指定員工信息紀錄，輸入員工id，即可刪除

4. 可修改員工信息，語法如下:

   • UPDATE staff_table SET dept="Market" WHERE where dept = "IT"

   注意：以上需求，要充分使用函數，請盡你的最大限度來減少重複代碼！

注：該文章由alex的blog搬運而來