python 過濾特殊字符(emoji)

1 前提背景

通過爬蟲獲取到的數據，要存入數據庫，由於數據庫的編碼問題，一些特殊字符出現錯誤，無法進入數據庫

解決辦法：過濾掉這些特殊字符，包含emoji表情等各種特殊字符

2 剔除除中英文及數字外的其他任何字符

這種方法簡單粗暴，直接把非中英文及數字的所有字符串刪除，代碼如下：

import re


def filter_str(desstr, restr=''):
    # 過濾除中英文及數字以外的其他字符
    res = re.compile("[^\u4e00-\u9fa5^a-z^A-Z^0-9]")
    return res.sub(restr, desstr)

3 emoji表情庫

【方法1】：emoji處理庫，emoji官網：https://pypi.org/project/emoji/

# 安裝 
pip install emoji

import emoji

emoji_str = "python is 👍"
# 特殊字符轉換爲正常字符（相當於解碼）
str = emoji.demojize(emoji_str)
print(str)
# 正常字符轉換爲特殊字符（相當於編碼）
emoji_str = emoji.emojize(str)
print(emoji_str)

運行結果：

【方法2】：過濾表情

import re


def filter_emoji(desstr, restr=''):
    # 過濾表情
    res = re.compile(u'[\U00010000-\U0010ffff\uD800-\uDBFF\uDC00-\uDFFF]')
    return res.sub(restr, desstr)


# 打印所有字符
for i in range(0x0, 0x10ffff):
    print(filter_emoji(chr(i)), end=", ")
    if i % 16 == 15:
        print()