文本:
每行在promotion後面包含一些數字,如果這些數字是相同的,則認爲是相同的行,對於相同的行,只保留一行。
思路:
根據字典和字符串切割。
建立一個空字典。
讀入文本,並對每行切割前半部分,在讀入文本的過程中循環在這個字典中查找,如果沒找到,則寫入該行到字典。否則,則表示該行已經被寫入過字典了(即出現重複的行了),不再寫入字典,這就實現了對於重複的行只保留一行的目的。
文本如下:
/promotion/232 utm_source /promotion/237 LandingPage/borrowExtend/? ; /promotion/25113 LandingPage/mhd /promotion/25113 LandingPage/mhd /promotion/25199 com/LandingPage /promotion/254 LandingPage/mhd/mhd4/? ; /promotion/259 LandingPage/ydy/? ; /promotion/25113 LandingPage/mhd /promotion/25199 com/LandingPage /promotion/25199 com/LandingPage
程序如下:
line_dict_uniq = dict() with open('1.txt','r') as fd: for line in fd: key = line.split(' ')[0] if key not in line_dict_uniq.values(): line_dict_uniq[key] = line else: continue print line_dict_uniq print len(line_dict_uniq) # 這裏是打印了不重複的行(重複的只打印一次),實際再把這個結果寫入文件就可以了, # 就不寫這段寫入文件的代碼了
上面這個程序執行效率比較低,改成如下會提高一些:
line_dict_uniq = dict() with open('1.txt','r') as fd: for line in fd: key = line.split(' ')[0] if key not in line_dict_uniq.keys(): line_dict_uniq[key] = line else: continue print line_dict_uniq print len(line_dict_uniq)