python3暴力刪除html中gbk不可編碼字符

苦逼大學僧的日常。。。

狗真是日了我了……
UnicodeEncodeError: ‘gbk’ codec can’t encode character u’\ufeff’ in position 0: illegal multibyte sequence
寫個爬蟲被這東西折磨了一天。。。不光BOM的feff，還有各種解碼不出來的字符，啥玩意都有。。
各種二分找位置（他提示的位置是不準的），看是什麼，加判斷，最後我崩潰了……
決定把這些解碼不出來的字符一一刪除
利用輸出的提示信息來確定不可見字符，然後將不可見字符刪除，重複這個過程
缺點就是會建立一個kill.html的文件以及由於刪除了開頭的\ufeff所以生成的字符串輸出到文件裏打開會亂碼。。。

import re

def killAnUnseen(s):
    try:
        f = open('kill.html', 'w');
        f.write(s);
        f.close()
    except UnicodeEncodeError as err:
        info = str(err);
        st = re.search('\\\\U[a-f0-9]{8}|\\\\u[a-f0-9]{4}|\\\\x[a-f0-9]{2}', info).group()[2:];
        x = int(st, 16);
        return (s.replace(chr(x), ""), True)
    return s, False

def killUnseen(s):
    while(True):
        s, res = killAnUnseen(s)
        if res == False:
            return s