python 快速替換csv數據集字符串列表中的表情符號爲空，asyncio，re，pandas

 

傳統的字符串列表替換字符串使用遍歷非常慢

比如下面這段代碼，如果處理幾十萬或上百萬的數據集時，會非常的慢，幾小時幾天都可能

import re

p = re.compile(u'['u'\U0001F300-\U0001F64F' u'\U0001F680-\U0001F6FF' u'\u2600-\u2B55 \U00010000-\U0010ffff]+')
# text = "超詳細修高鼻樑教程，點❤️收藏慢慢看#美妝 #使用一次你就喜歡"
# txt = re.sub(p,'',text) # 正則匹配，將表情符合替換爲空''
# print(txt)

bar = tqdm(enumerate(data['text']),total=len(data['text']))
for idx,text in bar:
data['text'][idx] = re.sub(p,'',text)

data

　　

如何加速，使用異步攜程加速，同時創建多個攜程，使用多個攜程同時處理字符串，有個對比，66w的數據只需不到1分鐘即可處理完

import re
import pandas as pd
import asyncio

async def replace_emoji(text):
    # 表情的Unicode編碼範圍
    emoji_pattern = re.compile("[\U0001F600-\U0001F64F\U0001F300-\U0001F5FF\U0001F680-\U0001F6FF\U0001F1E0-\U0001F1FF]", flags=re.UNICODE)
    # 替換表情爲空
    new_text = emoji_pattern.sub('', text)
    return new_text

async def main():
    # 讀取CSV文件
    df = pd.read_csv('file.csv')
    # 創建一個事件循環
    loop = asyncio.get_event_loop()
    # 異步替換所有文本中的表情
    replaced_text = await asyncio.gather(*[loop.create_task(replace_emoji(text)) for text in df['text']])
    # 將替換後的文本保存回CSV文件的text列
    df['text'] = replaced_text
    df.to_csv('file.csv', index=False)

# 運行主程序
asyncio.run(main())