字符串匹配算法 之 KMP(Knuth-Morris-Pratt)

KMP簡介

Knuth-Morris-Pratt算法簡稱KMP算法。是常用的字符串匹配算法，這個算法由Donald Knuth、Vaughan Pratt、James H. Morris三人於1977年聯合發表，故取這3人的姓氏命名此算法。

KMP算法流程

算法流程如下：

pattern 表示模式串，text表示文本串

1. pattern第一個字符和text第一個字符對齊，開始逐個字符匹配
2. 如果pattern和text的第一個字符成功匹配上，那麼繼續對pattern和text第二個字符進行匹配。
3. 一直匹配到第一個錯配的位置，這個時候，把pattern和text的對齊位置（下一次匹配第一個字符的位置向後移動一定的長度），這個長度可以通過查表來確定，後面再詳細說明表怎麼構建。
4. 直到找到pattren和text完全匹配的位置。當然，也可能找不到；或者找到多個，對於多個這種情況，直接將pattern後移pattern個長度。

原理

首先，字符串”BBC ABCDAB ABCDABCDABDE”的第一個字符與搜索詞”ABCDABD”的第一個字符，進行比較。因爲B與A不匹配，所以搜索詞後移一位

因爲B與A不匹配，搜索詞再往後移。

就這樣，直到字符串有一個字符，與搜索詞的第一個字符相同爲止。

接着比較字符串和搜索詞的下一個字符，還是相同。

直到字符串有一個字符，與搜索詞對應的字符不相同爲止。

這時，最自然的反應是，將搜索詞整個後移一位，再從頭逐個比較。這樣做雖然可行，但是效率很差，因爲你要把”搜索位置”移到已經比較過的位置，重比一遍。

一個基本事實是，當空格與D不匹配時，你其實知道前面六個字符是”ABCDAB”。KMP算法的想法是，設法利用這個已知信息，不要把”搜索位置”移回已經比較過的位置，繼續把它向後移，這樣就提高了效率。

怎麼做到這一點呢？可以針對搜索詞，算出一張《部分匹配表》（Partial Match Table）。這張表是如何產生的，後面再介紹，這裏只要會用就可以了。

已知空格與D不匹配時，前面六個字符”ABCDAB”是匹配的。查表可知，最後一個匹配字符B對應的”部分匹配值”爲2，因此按照下面的公式算出向後移動的位數：

　移動位數 = 已匹配的字符數 - 對應的部分匹配值

仔細想一想，其實減去的對應長度的部分匹配值減去的是pattern尾部存在的部分匹配子串的長度。
就是說pattern字符串除了尾部的部分匹配子串外，pattern前面存在和部分匹配子串一樣的子串，這時候想把前面的子串和text中與pattern後面部分匹配子串完全匹配的位置進行匹配。

因爲 6 - 2 等於4，所以將搜索詞向後移動4位。

因爲空格與Ｃ不匹配，搜索詞還要繼續往後移。這時，已匹配的字符數爲2（”AB”），對應的”部分匹配值”爲0。所以，移動位數 = 2 - 0，結果爲 2，於是將搜索詞向後移2位。

因爲空格與A不匹配，繼續後移一位。

逐位比較，直到發現C與D不匹配。於是，移動位數 = 6 - 2，繼續將搜索詞向後移動4位。

逐位比較，直到搜索詞的最後一位，發現完全匹配，於是搜索完成。如果還要繼續搜索（即找出全部匹配），移動位數 = 7 - 0，再將搜索詞向後移動7位，這裏就不再重複了。

算法框架：

def kmp_match(text, pattern):  
    m = len(text)
    n = len(pattern)
    cur = 0    #起始指針cur 表示 在text上開始匹配的起始位置
    table = partial_table(pattern)  #構建部分匹配查詢表
    results = []  # 存儲成功匹配的信息
    flag = 0
    while cur <= m-n: 
        for i in range(n):
            #print i,
            if text[i+cur] != pattern[i]:
                cur += max(i - table[i-1], 1)#有了部分匹配表,我們不只是單純的1位1位往右移,可以一次移動多位
                break
            else:
                pass
                #print text[i+cur],pattern[i]
        else:  
            flag += 1
            #print flag
            results.append(" "*cur + pattern + " "*(m - n - cur) + "  " + str(cur+1) + "  " + str(flag))
            cur += 1

    if flag == 0:
        print "No find."
    else:
        print flag," matching results are listed below."
        print "-------" + "-"*m + "-------"
        print text
        for line in results:
            print line
        print "-------" + "-"*m + "-------"

構建部分匹配表

面介紹《部分匹配表》是如何產生的。
首先，要了解兩個概念：”前綴”和”後綴”。 “前綴”指除了最後一個字符以外，一個字符串的全部頭部組合；”後綴”指除了第一個字符以外，一個字符串的全部尾部組合。

“部分匹配值”就是”前綴”和”後綴”的最長的共有元素的長度。以”ABCDABD”爲例，

－　“A”的前綴和後綴都爲空集，共有元素的長度爲0；
－　“AB”的前綴爲[A]，後綴爲[B]，共有元素的長度爲0；
－　“ABC”的前綴爲[A, AB]，後綴爲[BC, C]，共有元素的長度0；
－　“ABCD”的前綴爲[A, AB, ABC]，後綴爲[BCD, CD, D]，共有元素的長度爲0；
－　“ABCDA”的前綴爲[A, AB, ABC, ABCD]，後綴爲[BCDA, CDA, DA, A]，共有元素爲”A”，長度爲1；
－　“ABCDAB”的前綴爲[A, AB, ABC, ABCD, ABCDA]，後綴爲[BCDAB, CDAB, DAB, AB, B]，共有元素爲”AB”，長度爲2；
－　“ABCDABD”的前綴爲[A, AB, ABC, ABCD, ABCDA, ABCDAB]，後綴爲[BCDABD, CDABD, DABD, ABD, BD, D]，共有元素的長度爲0。

“部分匹配”的實質是，有時候，字符串頭部和尾部會有重複。比如，”ABCDAB”之中有兩個”AB”，那麼它的”部分匹配值”就是2（”AB”的長度）。搜索詞移動的時候，第一個”AB”向後移動4位（字符串長度-部分匹配值），就可以來到第二個”AB”的位置。

def partial_table(pattern):  
    '''
    partial_table("ABCDABD") -> [0, 0, 0, 0, 1, 2, 0]
    '''  
    prefix = set()  
    postfix = set()  
    ret = [0]  
    for i in range(1,len(pattern)):  
        prefix.add(pattern[:i])  
        postfix = {pattern[j:i+1] for j in range(1,i+1)}  
        ret.append(len((prefix&postfix or {''}).pop()))  
    return ret 

整合代碼

# -*- coding: utf-8 -*-
# -*- coding: utf-8 -*-
"""
Created on Thu Jul 28 23:11:27 2016

@author: zang
"""
def partial_table(pattern):  
    '''
    partial_table("ABCDABD") -> [0, 0, 0, 0, 1, 2, 0]
    '''  
    prefix = set()  
    postfix = set()  
    ret = [0]  
    for i in range(1,len(pattern)):  
        prefix.add(pattern[:i])  
        postfix = {pattern[j:i+1] for j in range(1,i+1)}  
        ret.append(len((prefix&postfix or {''}).pop()))  
    return ret 

def kmp_match(text, pattern):  
    m = len(text)
    n = len(pattern)
    cur = 0    #起始指針cur 表示 在text上開始匹配的起始位置
    table = partial_table(pattern)  #構建部分匹配查詢表
    results = []  # 存儲成功匹配的信息
    flag = 0
    while cur <= m-n: 
        for i in range(n):
            #print i,
            if text[i+cur] != pattern[i]:
                cur += max(i - table[i-1], 1)#有了部分匹配表,我們不只是單純的1位1位往右移,可以一次移動多位
                break
            else:
                pass
                #print text[i+cur],pattern[i]
        else:  
            flag += 1
            #print flag
            results.append(" "*cur + pattern + " "*(m - n - cur) + "  " + str(cur+1) + "  " + str(flag))
            cur += len(pattern)

    if flag == 0:
        print "No find."
    else:
        print flag," matching results are listed below."
        print "-------" + "-"*m + "-------"
        print text
        for line in results:
            print line
        print "-------" + "-"*m + "-------"

def main():
    while 1:
        text = raw_input("text: ")
        pattern = raw_input("pattern: ")
        if len(text) == 0 or len(pattern) == 0:
            print "\nplease input text and pattern again!"
            break
        kmp_match(text, pattern)

if __name__ == '__main__':
    main()

參考

• http://www.ruanyifeng.com/blog/2013/05/boyer-moore_string_search_algorithm.html
• http://blog.csdn.net/handsomekang/article/details/40978213