Python3中`in操作`在列表，字典，集合中的速度對比

Python3中in操作在列表，字典，集合中的速度對比

本實例旨在探索單個元素在大數據容器中的查找速度。另外，有單個資源的 放大版實例(–>click傳送門)

結論：對於需要涉及大量in查找操作的一批數據，最好使用字典或集合。

運行結果：

import datetime
import matplotlib.pyplot as mp
import numpy as np
import hashlib

def hex_sha1(STR):
    s1 = hashlib.sha1()
    s1.update(STR.encode('utf8'))
    return s1.hexdigest().upper()
    # print(hex_sha1('E5AC7D06E7C9A0F5'))
    # E18937A9639FE98F8A24348ED0BBE3061A5465A8

def f(xx, iters):
    t0 = datetime.datetime.now()
    print('查找開始', t0)
    print('類型', type(iters), xx, len(iters))
    print(xx in iters)
    t1 = datetime.datetime.now()
    print('查找結束', t1)
    print('耗時', (t1-t0).seconds, (t1-t0).microseconds)
    return (t1-t0).microseconds

sed = 10**7  # 儲存md5的數
# 1) 先準備數據
print(datetime.datetime.now())
L_all = np.array([hex_sha1(str(x))*2 for x in range(sed+1)])
print(datetime.datetime.now())

X, y = [], []  # X數量, y是各個函數時間[[y1,y2,y3],[...],...]
for x in list(range(0, sed+1, int(sed/10))):
    X.append(x)
    Ly = []  # y1,y2,y3運行時間
    print()
    for iters in ('L_all[:x+1]',
                  'list(L_all[:x+1])',
                  'dict.fromkeys(L_all[:x+1], None)',
                  'set(L_all[:x+1])'):
        iters = eval(iters)
        yn = f(hex_sha1(str(x))*2, iters)
        Ly.append(yn)
    y.append(Ly)

y1, y2, y3, y4 = (np.array(y)/1000).T

mp.plot(X, y1, linestyle='-', label="array", color='green')
mp.plot(X, y2, linestyle='-', label="list", color='red')
mp.plot(X, y3, linestyle='-', label="dict", color='blue')
mp.plot(X, y4, linestyle='-', label="set", color='orange')
mp.title('speed test', fontsize=20)
mp.xlabel('Num', fontsize=12)
mp.ylabel('Time(ms)', fontsize=12)
for y, colors in zip([y1, y2, y3, y4], ['green', 'red', 'blue', 'orange']):
    mp.scatter(X, y,
               marker='o',  # 點型 ~ matplotlib.markers
               s=60,  # 大小
               edgecolor=colors,  # 邊緣色
               facecolor='white',  # 填充色
               zorder=3  # 繪製圖層編號 （編號越大，圖層越靠上）
               )
mp.legend()
mp.show()