BAT面試題——大文本集合，相似單詞歸類

歡迎關注，敬請點贊！

問題描述：對於一個文本集合，把相似的單詞進行歸類。

(相似單詞定義：兩個單詞只有一個字母不一樣!)

方法一：暴力窮舉法

遍歷文本中的每個單詞，找出在文本中與其相似的單詞，算法的時間複雜度是o(n2)。對於常見的英文詞典，差不多有將近20000個單詞，那麼需要經過4億次運算，時間驚人，實際行不通。

方法二：正則表達式

從相似單詞的特點入手。
‘son’和‘sun’都可以用正則表達式中的‘s.n’來表示，其中‘.’在正則表達式中可以代表任意的符號。

我們使用一個字典結構：key是正則字符串 ，value：是相似單詞的集合。

舉個例子：對於單詞’son’，那麼符合它的正則匹配有：‘.on’、‘s.n’、‘so.’，那麼字典中，分別是：key:’.on’，value:‘son’；key:‘s.n’，value:‘son’；key:‘so.’，value:‘son’。對於單詞‘sun’，進行同樣的計算，同時字典開始更新：key:’.un’，value:‘sun’；key:‘s.n’，value:[‘son’,‘sun’]；key:‘so.’，value:‘son’；key:‘su.’，value:‘sun’。這樣遍歷文本，最後的時間複雜度是o(n)。

代碼：

from collections import defaultdict  #使用了默認字典
import re


words_dict = defaultdict(set)        #詞典的value值默認爲set（非重複的相似單詞集合，例如‘son’和‘sun’）

def cal_similar_words(word):
    if len(word) != 0:
        for item in word:
            pattern = word.replace(item, '.')
            words_dict[pattern].add(word)

#找出《老人與海》簡介中相似的單詞
with open(r'C:\Users\13721\Documents\Old_Man_and_Sea.txt') as file:
    words_list = re.findall(r'\w+', file.read())

for item in set(words_list):
    cal_similar_words(item.lower())
	
for i in words_dict.values():
    if len(i) >= 2:  # 打印長度不小於2的values，裏面是相似單詞
        print(i)

運行結果

返回頂部

{'84', '87'}
{'shark', 'shack'}
{'some', 'home'}
{'sail', 'said'}
{'in', 'an', 'on'}
{'of', 'on'}
{'feet', 'feed'}
{'in', 'is', 'it'}
{'gear', 'near'}
{'his', 'has'}
{'has', 'had'}
{'most', 'mast'}
{'oar', 'far'}
{'for', 'far'}
{'to', 'so', 'no'}
{'end', 'and'}
{'and', 'any'}
{'now', 'how'}
{'now', 'new'}
{'a', 's'}
{'sail', 'tail'}
{'it', 'at'}
{'him', 'his'}
{'he', 'be'}
{'by', 'be'}
{'an', 'at', 'as'}
{'day', 'way'}
{'thus', 'this'}
{'is', 'as'}
{'line', 'life'}
{'out', 'but'}
{'takes', 'makes', 'wakes'}

歡迎關注，敬請點贊！
返回頂部