常見的挖掘頻繁項集算法有兩類,一類是Apriori算法,另一類是FP-growth。Apriori通過不斷的構造候選集、篩選候選集挖掘出頻繁項集,需要多次掃描原始數據,當原始數據較大時,磁盤I/O次數太多,效率比較低下。FPGrowth不同於Apriori的“試探”策略,算法只需掃描原始數據兩遍,通過FP-tree數據結構對原始數據進行壓縮,效率較高。
FP代表頻繁模式(Frequent Pattern) ,算法主要分爲兩個步驟:FP-tree構建、挖掘頻繁項集。
FP樹表示法
FP樹通過逐個讀入事務,並把事務映射到FP樹中的一條路徑來構造。由於不同的事務可能會有若干個相同的項,因此它們的路徑可能部分重疊。路徑相互重疊越多,使用FP樹結構獲得的壓縮效果越好;如果FP樹足夠小,能夠存放在內存中,就可以直接從這個內存中的結構提取頻繁項集,而不必重複地掃描存放在硬盤上的數據。
一顆FP樹如下圖所示:
通常,FP樹的大小比未壓縮的數據小,因爲數據的事務常常共享一些共同項,在最好的情況下,所有的事務都具有相同的項集,FP樹只包含一條節點路徑;當每個事務都具有唯一項集時,導致最壞情況發生,由於事務不包含任何共同項,FP樹的大小實際上與原數據的大小一樣。
FP樹的根節點用φ表示,其餘節點包括一個數據項和該數據項在本路徑上的支持度;每條路徑都是一條訓練數據中滿足最小支持度的數據項集;FP樹還將所有相同項連接成鏈表,上圖中用藍色連線表示。
爲了快速訪問樹中的相同項,還需要維護一個連接具有相同項的節點的指針列表(headTable),每個列表元素包括:數據項、該項的全局最小支持度、指向FP樹中該項鍊表的表頭的指針。
構建FP樹
現在有如下數據:
FP-growth算法需要對原始訓練集掃描兩遍以構建FP樹。
第一次掃描,過濾掉所有不滿足最小支持度的項;對於滿足最小支持度的項,按照全局最小支持度排序,在此基礎上,爲了處理方便,也可以按照項的關鍵字再次排序。
第一次掃描的後的結果
第二次掃描,構造FP樹。
參與掃描的是過濾後的數據,如果某個數據項是第一次遇到,則創建該節點,並在headTable中添加一個指向該節點的指針;否則按路徑找到該項對應的節點,修改節點信息。具體過程如下所示:
事務001,{z,x}
事務002,{z,x,y,t,s}
事務003,{z}
事務004,{x,s,r}
事務005,{z,x,y,t,r}
事務006,{z,x,y,t,s}
從上面可以看出,headTable並不是隨着FPTree一起創建,而是在第一次掃描時就已經創建完畢,在創建FPTree時只需要將指針指向相應節點即可。從事務004開始,需要創建節點間的連接,使不同路徑上的相同項連接成鏈表。
代碼如下:
1 def loadSimpDat():
2 simpDat = [['r', 'z', 'h', 'j', 'p'],
3 ['z', 'y', 'x', 'w', 'v', 'u', 't', 's'],
4 ['z'],
5 ['r', 'x', 'n', 'o', 's'],
6 ['y', 'r', 'x', 'z', 'q', 't', 'p'],
7 ['y', 'z', 'x', 'e', 'q', 's', 't', 'm']]
8 return simpDat
9
10 def createInitSet(dataSet):
11 retDict = {}
12 for trans in dataSet:
13 fset = frozenset(trans)
14 retDict.setdefault(fset, 0)
15 retDict[fset] += 1
16 return retDict
17
18 class treeNode:
19 def __init__(self, nameValue, numOccur, parentNode):
20 self.name = nameValue
21 self.count = numOccur
22 self.nodeLink = None
23 self.parent = parentNode
24 self.children = {}
25
26 def inc(self, numOccur):
27 self.count += numOccur
28
29 def disp(self, ind=1):
30 print(' ' * ind, self.name, ' ', self.count)
31 for child in self.children.values():
32 child.disp(ind + 1)
33
34
35 def createTree(dataSet, minSup=1):
36 headerTable = {}
37 #此一次遍歷數據集, 記錄每個數據項的支持度
38 for trans in dataSet:
39 for item in trans:
40 headerTable[item] = headerTable.get(item, 0) + 1
41
42 #根據最小支持度過濾
43 lessThanMinsup = list(filter(lambda k:headerTable[k] < minSup, headerTable.keys()))
44 for k in lessThanMinsup: del(headerTable[k])
45
46 freqItemSet = set(headerTable.keys())
47 #如果所有數據都不滿足最小支持度,返回None, None
48 if len(freqItemSet) == 0:
49 return None, None
50
51 for k in headerTable:
52 headerTable[k] = [headerTable[k], None]
53
54 retTree = treeNode('φ', 1, None)
55 #第二次遍歷數據集,構建fp-tree
56 for tranSet, count in dataSet.items():
57 #根據最小支持度處理一條訓練樣本,key:樣本中的一個樣例,value:該樣例的的全局支持度
58 localD = {}
59 for item in tranSet:
60 if item in freqItemSet:
61 localD[item] = headerTable[item][0]
62
63 if len(localD) > 0:
64 #根據全局頻繁項對每個事務中的數據進行排序,等價於 order by p[1] desc, p[0] desc
65 orderedItems = [v[0] for v in sorted(localD.items(), key=lambda p: (p[1],p[0]), reverse=True)]
66 updateTree(orderedItems, retTree, headerTable, count)
67 return retTree, headerTable
68
69
70 def updateTree(items, inTree, headerTable, count):
71 if items[0] in inTree.children: # check if orderedItems[0] in retTree.children
72 inTree.children[items[0]].inc(count) # incrament count
73 else: # add items[0] to inTree.children
74 inTree.children[items[0]] = treeNode(items[0], count, inTree)
75 if headerTable[items[0]][1] == None: # update header table
76 headerTable[items[0]][1] = inTree.children[items[0]]
77 else:
78 updateHeader(headerTable[items[0]][1], inTree.children[items[0]])
79
80 if len(items) > 1: # call updateTree() with remaining ordered items
81 updateTree(items[1:], inTree.children[items[0]], headerTable, count)
82
83
84 def updateHeader(nodeToTest, targetNode): # this version does not use recursion
85 while (nodeToTest.nodeLink != None): # Do not use recursion to traverse a linked list!
86 nodeToTest = nodeToTest.nodeLink
87 nodeToTest.nodeLink = targetNode
88
89 simpDat = loadSimpDat()
90 dictDat = createInitSet(simpDat)
91 myFPTree,myheader = createTree(dictDat, 3)
92 myFPTree.disp()
上面的代碼在第一次掃描後並沒有將每條訓練數據過濾後的項排序,而是將排序放在了第二次掃描時,這可以簡化代碼的複雜度。
控制檯信息:
項的順序對FP樹的影響
值得注意的是,對項的關鍵字排序將會影響FP樹的結構。下面兩圖是相同訓練集生成的FP樹,圖1除了按照最小支持度排序外,未對項做任何處理;圖2則將項按照關鍵字進行了降序排序。樹的結構也將影響後續發現頻繁項的結果。
圖1 未對項的關鍵字排序
圖2 對項的關鍵字降序排序
下篇繼續,介紹如何發現頻繁項集。