字符串匹配算法 之 KMP(Knuth-Morris-Pratt)

KMP简介

Knuth-Morris-Pratt算法简称KMP算法。是常用的字符串匹配算法，这个算法由Donald Knuth、Vaughan Pratt、James H. Morris三人于1977年联合发表，故取这3人的姓氏命名此算法。

KMP算法流程

算法流程如下：

pattern 表示模式串，text表示文本串

1. pattern第一个字符和text第一个字符对齐，开始逐个字符匹配
2. 如果pattern和text的第一个字符成功匹配上，那么继续对pattern和text第二个字符进行匹配。
3. 一直匹配到第一个错配的位置，这个时候，把pattern和text的对齐位置（下一次匹配第一个字符的位置向后移动一定的长度），这个长度可以通过查表来确定，后面再详细说明表怎么构建。
4. 直到找到pattren和text完全匹配的位置。当然，也可能找不到；或者找到多个，对于多个这种情况，直接将pattern后移pattern个长度。

原理

首先，字符串”BBC ABCDAB ABCDABCDABDE”的第一个字符与搜索词”ABCDABD”的第一个字符，进行比较。因为B与A不匹配，所以搜索词后移一位

因为B与A不匹配，搜索词再往后移。

就这样，直到字符串有一个字符，与搜索词的第一个字符相同为止。

接着比较字符串和搜索词的下一个字符，还是相同。

直到字符串有一个字符，与搜索词对应的字符不相同为止。

这时，最自然的反应是，将搜索词整个后移一位，再从头逐个比较。这样做虽然可行，但是效率很差，因为你要把”搜索位置”移到已经比较过的位置，重比一遍。

一个基本事实是，当空格与D不匹配时，你其实知道前面六个字符是”ABCDAB”。KMP算法的想法是，设法利用这个已知信息，不要把”搜索位置”移回已经比较过的位置，继续把它向后移，这样就提高了效率。

怎么做到这一点呢？可以针对搜索词，算出一张《部分匹配表》（Partial Match Table）。这张表是如何产生的，后面再介绍，这里只要会用就可以了。

已知空格与D不匹配时，前面六个字符”ABCDAB”是匹配的。查表可知，最后一个匹配字符B对应的”部分匹配值”为2，因此按照下面的公式算出向后移动的位数：

　移动位数 = 已匹配的字符数 - 对应的部分匹配值

仔细想一想，其实减去的对应长度的部分匹配值减去的是pattern尾部存在的部分匹配子串的长度。
就是说pattern字符串除了尾部的部分匹配子串外，pattern前面存在和部分匹配子串一样的子串，这时候想把前面的子串和text中与pattern后面部分匹配子串完全匹配的位置进行匹配。

因为 6 - 2 等于4，所以将搜索词向后移动4位。

因为空格与Ｃ不匹配，搜索词还要继续往后移。这时，已匹配的字符数为2（”AB”），对应的”部分匹配值”为0。所以，移动位数 = 2 - 0，结果为 2，于是将搜索词向后移2位。

因为空格与A不匹配，继续后移一位。

逐位比较，直到发现C与D不匹配。于是，移动位数 = 6 - 2，继续将搜索词向后移动4位。

逐位比较，直到搜索词的最后一位，发现完全匹配，于是搜索完成。如果还要继续搜索（即找出全部匹配），移动位数 = 7 - 0，再将搜索词向后移动7位，这里就不再重复了。

算法框架：

def kmp_match(text, pattern):  
    m = len(text)
    n = len(pattern)
    cur = 0    #起始指针cur 表示 在text上开始匹配的起始位置
    table = partial_table(pattern)  #构建部分匹配查询表
    results = []  # 存储成功匹配的信息
    flag = 0
    while cur <= m-n: 
        for i in range(n):
            #print i,
            if text[i+cur] != pattern[i]:
                cur += max(i - table[i-1], 1)#有了部分匹配表,我们不只是单纯的1位1位往右移,可以一次移动多位
                break
            else:
                pass
                #print text[i+cur],pattern[i]
        else:  
            flag += 1
            #print flag
            results.append(" "*cur + pattern + " "*(m - n - cur) + "  " + str(cur+1) + "  " + str(flag))
            cur += 1

    if flag == 0:
        print "No find."
    else:
        print flag," matching results are listed below."
        print "-------" + "-"*m + "-------"
        print text
        for line in results:
            print line
        print "-------" + "-"*m + "-------"

构建部分匹配表

面介绍《部分匹配表》是如何产生的。
首先，要了解两个概念：”前缀”和”后缀”。 “前缀”指除了最后一个字符以外，一个字符串的全部头部组合；”后缀”指除了第一个字符以外，一个字符串的全部尾部组合。

“部分匹配值”就是”前缀”和”后缀”的最长的共有元素的长度。以”ABCDABD”为例，

－　“A”的前缀和后缀都为空集，共有元素的长度为0；
－　“AB”的前缀为[A]，后缀为[B]，共有元素的长度为0；
－　“ABC”的前缀为[A, AB]，后缀为[BC, C]，共有元素的长度0；
－　“ABCD”的前缀为[A, AB, ABC]，后缀为[BCD, CD, D]，共有元素的长度为0；
－　“ABCDA”的前缀为[A, AB, ABC, ABCD]，后缀为[BCDA, CDA, DA, A]，共有元素为”A”，长度为1；
－　“ABCDAB”的前缀为[A, AB, ABC, ABCD, ABCDA]，后缀为[BCDAB, CDAB, DAB, AB, B]，共有元素为”AB”，长度为2；
－　“ABCDABD”的前缀为[A, AB, ABC, ABCD, ABCDA, ABCDAB]，后缀为[BCDABD, CDABD, DABD, ABD, BD, D]，共有元素的长度为0。

“部分匹配”的实质是，有时候，字符串头部和尾部会有重复。比如，”ABCDAB”之中有两个”AB”，那么它的”部分匹配值”就是2（”AB”的长度）。搜索词移动的时候，第一个”AB”向后移动4位（字符串长度-部分匹配值），就可以来到第二个”AB”的位置。

def partial_table(pattern):  
    '''
    partial_table("ABCDABD") -> [0, 0, 0, 0, 1, 2, 0]
    '''  
    prefix = set()  
    postfix = set()  
    ret = [0]  
    for i in range(1,len(pattern)):  
        prefix.add(pattern[:i])  
        postfix = {pattern[j:i+1] for j in range(1,i+1)}  
        ret.append(len((prefix&postfix or {''}).pop()))  
    return ret 

整合代码

# -*- coding: utf-8 -*-
# -*- coding: utf-8 -*-
"""
Created on Thu Jul 28 23:11:27 2016

@author: zang
"""
def partial_table(pattern):  
    '''
    partial_table("ABCDABD") -> [0, 0, 0, 0, 1, 2, 0]
    '''  
    prefix = set()  
    postfix = set()  
    ret = [0]  
    for i in range(1,len(pattern)):  
        prefix.add(pattern[:i])  
        postfix = {pattern[j:i+1] for j in range(1,i+1)}  
        ret.append(len((prefix&postfix or {''}).pop()))  
    return ret 

def kmp_match(text, pattern):  
    m = len(text)
    n = len(pattern)
    cur = 0    #起始指针cur 表示 在text上开始匹配的起始位置
    table = partial_table(pattern)  #构建部分匹配查询表
    results = []  # 存储成功匹配的信息
    flag = 0
    while cur <= m-n: 
        for i in range(n):
            #print i,
            if text[i+cur] != pattern[i]:
                cur += max(i - table[i-1], 1)#有了部分匹配表,我们不只是单纯的1位1位往右移,可以一次移动多位
                break
            else:
                pass
                #print text[i+cur],pattern[i]
        else:  
            flag += 1
            #print flag
            results.append(" "*cur + pattern + " "*(m - n - cur) + "  " + str(cur+1) + "  " + str(flag))
            cur += len(pattern)

    if flag == 0:
        print "No find."
    else:
        print flag," matching results are listed below."
        print "-------" + "-"*m + "-------"
        print text
        for line in results:
            print line
        print "-------" + "-"*m + "-------"

def main():
    while 1:
        text = raw_input("text: ")
        pattern = raw_input("pattern: ")
        if len(text) == 0 or len(pattern) == 0:
            print "\nplease input text and pattern again!"
            break
        kmp_match(text, pattern)

if __name__ == '__main__':
    main()

参考

• http://www.ruanyifeng.com/blog/2013/05/boyer-moore_string_search_algorithm.html
• http://blog.csdn.net/handsomekang/article/details/40978213