Serverless實戰：3分鐘實現文本敏感詞過濾

敏感詞過濾是隨着互聯網社區一起發展起來的一種阻止網絡犯罪和網絡暴力的技術手段，通過對可能存在犯罪或網絡暴力的關鍵詞進行有針對性的篩查和屏蔽，能夠防患於未然，將後果嚴重的犯罪行爲扼殺於萌芽之中。

隨着各種社交論壇的日益火爆，敏感詞過濾逐漸成爲了非常重要的功能。那麼在Serverless架構下，利用Python語言，敏感詞過濾又有那些新的實現呢？我們能否用最簡單的方法實現一個敏感詞過濾的API呢？

瞭解敏感過濾的幾種方法

Replace方法

敏感詞過濾，其實在一定程度上是文本替換，以Python爲例，我們可以通過replace來實現，首先準備一個敏感詞庫，然後通過replace進行敏感詞替換:

def worldFilter(keywords, text):
    for eve in keywords:
        text = text.replace(eve, "***")
    return text
keywords = ("關鍵詞1", "關鍵詞2", "關鍵詞3")
content = "這是一個關鍵詞替換的例子，這裏涉及到了關鍵詞1還有關鍵詞2，最後還會有關鍵詞3。"
print(worldFilter(keywords, content))

這種方法雖然操作簡單，但是存在一個很大的問題：在文本和敏感詞彙非常龐大的情況下，會出現很嚴重的性能問題。

舉個例子，我們先修改代碼進行基本的性能測試：

import time

def worldFilter(keywords, text):
    for eve in keywords:
        text = text.replace(eve, "***")
    return text
keywords =[ "關鍵詞" + str(i) for i in range(0,10000)]
content = "這是一個關鍵詞替換的例子，這裏涉及到了關鍵詞1還有關鍵詞2，最後還會有關鍵詞3。" * 1000
startTime = time.time()
worldFilter(keywords, content)
print(time.time()-startTime)

此時的輸出結果是：0.12426114082336426，可以看到性能非常差。

正則表達方法

相較於replace，使用正則表達re.sub實現可能更加快速。

import time
import re
def worldFilter(keywords, text):
     return re.sub("|".join(keywords), "***", text)
keywords =[ "關鍵詞" + str(i) for i in range(0,10000)]
content = "這是一個關鍵詞替換的例子，這裏涉及到了關鍵詞1還有關鍵詞2，最後還會有關鍵詞3。" * 1000
startTime = time.time()
worldFilter(keywords, content)
print(time.time()-startTime)

增加性能測試之後，我們按照上面的方法進行改造測試，輸出結果是0.24773502349853516。

對比這兩個例子，我們會發現當前兩種方法的性能差距不是很大，但是隨着文本數量的增加，正則表達的優勢會逐漸凸顯，性能提升明顯。

DFA過濾敏感詞

相對來說，DFA過濾敏感詞的效率會更高一些，例如我們把壞人、壞孩子、壞蛋作爲敏感詞，那麼它們的樹關係可以這樣表達：

而DFA字典是這樣表示的：

{
    '壞': {
        '蛋': {
            '\x00': 0
        }, 
        '人': {
            '\x00': 0
        }, 
        '孩': {
            '子': {
                '\x00': 0
            }
        }
    }
}

使用這種樹表示問題最大的好處就是可以降低檢索次數、提高檢索效率。其基本代碼實現如下：

import time

class DFAFilter(object):
    def __init__(self):
        self.keyword_chains = {}  # 關鍵詞鏈表
        self.delimit = '\x00'  # 限定

    def parse(self, path):
        with open(path, encoding='utf-8') as f:
            for keyword in f:
                chars = str(keyword).strip().lower()  # 關鍵詞英文變爲小寫
                if not chars:  # 如果關鍵詞爲空直接返回
                    return
                level = self.keyword_chains
                for i in range(len(chars)):
                    if chars[i] in level:
                        level = level[chars[i]]
                    else:
                        if not isinstance(level, dict):
                            break
                        for j in range(i, len(chars)):
                            level[chars[j]] = {}
                            last_level, last_char = level, chars[j]
                            level = level[chars[j]]
                        last_level[last_char] = {self.delimit: 0}
                        break
                if i == len(chars) - 1:
                    level[self.delimit] = 0

    def filter(self, message, repl="*"):
        message = message.lower()
        ret = []
        start = 0
        while start < len(message):
            level = self.keyword_chains
            step_ins = 0
            for char in message[start:]:
                if char in level:
                    step_ins += 1
                    if self.delimit not in level[char]:
                        level = level[char]
                    else:
                        ret.append(repl * step_ins)
                        start += step_ins - 1
                        break
                else:
                    ret.append(message[start])
                    break
            else:
                ret.append(message[start])
            start += 1

        return ''.join(ret)



gfw = DFAFilter()
gfw.parse( "./sensitive_words")
content = "這是一個關鍵詞替換的例子，這裏涉及到了關鍵詞1還有關鍵詞2，最後還會有關鍵詞3。" * 1000
startTime = time.time()
result = gfw.filter(content)
print(time.time()-startTime)

這裏的字典庫是：

with open("./sensitive_words", 'w') as f:
    f.write("\n".join( [ "關鍵詞" + str(i) for i in range(0,10000)]))

執行結果：

0.06450581550598145

從中，我們可以看到性能又進一步得到了提升。

AC自動機過濾敏感詞算法

什麼是AC自動機？簡單來說，AC自動機就是字典樹+kmp算法+失配指針，一個常見的例子就是給出n個單詞，再給出一段包含m個字符的文章，讓你找出有多少個單詞在文章裏出現過。

代碼實現：

import time
class Node(object):
    def __init__(self):
        self.next = {}
        self.fail = None
        self.isWord = False
        self.word = ""


class AcAutomation(object):

    def __init__(self):
        self.root = Node()

    # 查找敏感詞函數
    def search(self, content):
        p = self.root
        result = []
        currentposition = 0

        while currentposition < len(content):
            word = content[currentposition]
            while word in p.next == False and p != self.root:
                p = p.fail

            if word in p.next:
                p = p.next[word]
            else:
                p = self.root

            if p.isWord:
                result.append(p.word)
                p = self.root
            currentposition += 1
        return result

    # 加載敏感詞庫函數
    def parse(self, path):
        with open(path, encoding='utf-8') as f:
            for keyword in f:
                temp_root = self.root
                for char in str(keyword).strip():
                    if char not in temp_root.next:
                        temp_root.next[char] = Node()
                    temp_root = temp_root.next[char]
                temp_root.isWord = True
                temp_root.word = str(keyword).strip()

    # 敏感詞替換函數
    def wordsFilter(self, text):
        """
        :param ah: AC自動機
        :param text: 文本
        :return: 過濾敏感詞之後的文本
        """
        result = list(set(self.search(text)))
        for x in result:
            m = text.replace(x, '*' * len(x))
            text = m
        return text


acAutomation = AcAutomation()
acAutomation.parse('./sensitive_words')
startTime = time.time()
print(acAutomation.wordsFilter("這是一個關鍵詞替換的例子，這裏涉及到了關鍵詞1還有關鍵詞2，最後還會有關鍵詞3。"*1000))
print(time.time()-startTime)

詞庫同樣是：

with open("./sensitive_words", 'w') as f:
    f.write("\n".join( [ "關鍵詞" + str(i) for i in range(0,10000)]))

使用上面的方法，測試結果爲0.017391204833984375。

敏感詞過濾方法小結

根據上文的測試對比，我們可以發現在所有算法中，DFA過濾敏感詞性能最高，但是在實際應用中，DFA過濾和AC自動機過濾各自有自己的適用場景，可以根據具體業務來選擇。

實現敏感詞過濾API

想要實現敏感詞過濾API，就需要將代碼部署到Serverless架構上，選擇API網關與函數計算進行結合。以AC自動機過濾敏感詞算法爲例：我們只需要增加是幾行代碼就好：

# -*- coding:utf-8 -*-

import json, uuid


class Node(object):
    def __init__(self):
        self.next = {}
        self.fail = None
        self.isWord = False
        self.word = ""


class AcAutomation(object):

    def __init__(self):
        self.root = Node()

    # 查找敏感詞函數
    def search(self, content):
        p = self.root
        result = []
        currentposition = 0

        while currentposition < len(content):
            word = content[currentposition]
            while word in p.next == False and p != self.root:
                p = p.fail

            if word in p.next:
                p = p.next[word]
            else:
                p = self.root

            if p.isWord:
                result.append(p.word)
                p = self.root
            currentposition += 1
        return result

    # 加載敏感詞庫函數
    def parse(self, path):
        with open(path, encoding='utf-8') as f:
            for keyword in f:
                temp_root = self.root
                for char in str(keyword).strip():
                    if char not in temp_root.next:
                        temp_root.next[char] = Node()
                    temp_root = temp_root.next[char]
                temp_root.isWord = True
                temp_root.word = str(keyword).strip()

    # 敏感詞替換函數
    def wordsFilter(self, text):
        """
        :param ah: AC自動機
        :param text: 文本
        :return: 過濾敏感詞之後的文本
        """
        result = list(set(self.search(text)))
        for x in result:
            m = text.replace(x, '*' * len(x))
            text = m
        return text


def response(msg, error=False):
    return_data = {
        "uuid": str(uuid.uuid1()),
        "error": error,
        "message": msg
    }
    print(return_data)
    return return_data


acAutomation = AcAutomation()
path = './sensitive_words'
acAutomation.parse(path)


def main_handler(event, context):
    try:
        sourceContent = json.loads(event["body"])["content"]
        return response({
            "sourceContent": sourceContent,
            "filtedContent": acAutomation.wordsFilter(sourceContent)
        })
    except Exception as e:
        return response(str(e), True)

最後，爲了方便本地測試，我們可以再增加以下代碼：

def test():
    event = {
        "requestContext": {
            "serviceId": "service-f94sy04v",
            "path": "/test/{path}",
            "httpMethod": "POST",
            "requestId": "c6af9ac6-7b61-11e6-9a41-93e8deadbeef",
            "identity": {
                "secretId": "abdcdxxxxxxxsdfs"
            },
            "sourceIp": "14.17.22.34",
            "stage": "release"
        },
        "headers": {
            "Accept-Language": "en-US,en,cn",
            "Accept": "text/html,application/xml,application/json",
            "Host": "service-3ei3tii4-251000691.ap-guangzhou.apigateway.myqloud.com",
            "User-Agent": "User Agent String"
        },
        "body": "{\"content\":\"這是一個測試的文本，我也就呵呵了\"}",
        "pathParameters": {
            "path": "value"
        },
        "queryStringParameters": {
            "foo": "bar"
        },
        "headerParameters": {
            "Refer": "10.0.2.14"
        },
        "stageVariables": {
            "stage": "release"
        },
        "path": "/test/value",
        "queryString": {
            "foo": "bar",
            "bob": "alice"
        },
        "httpMethod": "POST"
    }
    print(main_handler(event, None))


if __name__ == "__main__":
    test()

完成之後，就可以進行測試運行，例如我的字典是：

呵呵
測試

執行之後結果：

{'uuid': '9961ae2a-5cfc-11ea-a7c2-acde48001122', 'error': False, 'message': {'sourceContent': '這是一個測試的文本，我也就呵呵了', 'filtedContent': '這是一個**的文本，我也就**了'}}

接下來，我們將代碼部署到雲端，新建serverless.yaml:

sensitive_word_filtering:
  component: "@serverless/tencent-scf"
  inputs:
    name: sensitive_word_filtering
    codeUri: ./
    exclude:
      - .gitignore
      - .git/**
      - .serverless
      - .env
    handler: index.main_handler
    runtime: Python3.6
    region: ap-beijing
    description: 敏感詞過濾
    memorySize: 64
    timeout: 2
    events:
      - apigw:
          name: serverless
          parameters:
            environment: release
            endpoints:
              - path: /sensitive_word_filtering
                description: 敏感詞過濾
                method: POST
                enableCORS: true
                param:
                  - name: content
                    position: BODY
                    required: 'FALSE'
                    type: string
                    desc: 待過濾的句子

然後通過sls --debug進行部署，部署結果：

最後，通過PostMan進行測試：

總結

敏感詞過濾是當前企業的普遍需求，通過敏感詞過濾，我們可以在一定程度上遏制惡言惡語和違規言論的出現。在具體實現過程中，有兩個方面需要額外主要：

敏感詞庫的獲得問題：Github上有很多敏感詞庫，其中包含了各種場景中的敏感詞，大家可以自行搜索下載使用；
API使用場景的問題：我們可以將這個API放置在社區跟帖系統、留言評論系統或者是博客發佈系統中，這樣可以防止出現敏感詞彙，減少不必要的麻煩。

作者介紹：

劉宇，騰訊 Serverless 團隊後臺研發工程師。畢業於浙江大學，碩士研究生學歷，曾在滴滴出行、騰訊科技做產品經理，本科開始有自主創業經歷，是 Anycodes 在線編程的負責人（該軟件累計下載量超 100 萬次）。目前投身於 Serverless 架構研發，著書《Serverless 架構：從原理、設計到項目實戰》，參與開發和維護多個 Serverless 組件，是活躍的 Serverless Framework 的貢獻者，也曾多次公開演講和分享 Serverless 相關技術與經驗，致力於 Serverless 的落地與項目上雲。

Serverless實戰：3分鐘實現文本敏感詞過濾

瞭解敏感過濾的幾種方法

Replace方法

正則表達方法

DFA過濾敏感詞

AC自動機過濾敏感詞算法

敏感詞過濾方法小結

實現敏感詞過濾API

總結

使用c#強大的表達式樹實現對象的深克隆之解決循環引用的問題

痞子衡嵌入式：恩智浦i.MX RT1xxx系列MCU啓動那些事（12.A）- uSDHC eMMC啓動時間(RT1170)

GPT-4o 引領人機交互新風向，向量數據庫賽道沸騰了

企業大模型如何成爲自己數據的“百科全書”？

本地SSL證書過期輸入命令在IIS自動生成

基於Ubuntu-22.04安裝K8s-v1.28.2實驗（二）使用kube-vip實現集羣VIP訪問

.NET週刊【5月第2期 2024-05-12】

引入：從雲計算到Serverless

如何定製化開發Serverless Framework的Component ？

Serverless架構下還需要評估函數資源嗎？

Serverless架構下如何實現日誌的實時輸出？

Serverless實戰：通過 Component 實現多地域部署容災

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結