Java 過濾關鍵字敏感詞

原文鏈接：https://blog.csdn.net/yqwang75457/article/details/79407992

1、敏感詞
鏈接: https://pan.baidu.com/s/1vuM8DJ1jxVO7EOhKVqCL1A 提取碼: iv94 複製這段內容後打開百度網盤手機App，操作更方便哦
放到項目中的resources文件夾下即可

2.工具類

import org.springframework.util.ResourceUtils;

import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.InputStreamReader;
import java.util.*;

public class BadWordUtil2 {
    public static String filePath = "classpath:dictionary.txt";//敏感詞庫文件路徑
    public static Set<String> words;
    public static Map<String,String> wordMap;
    public static int minMatchTYpe = 1;      //最小匹配規則
    public static int maxMatchType = 2;      //最大匹配規則
    static{
        BadWordUtil2.words = readTxtByLine(filePath);
        addBadWordToHashMap(BadWordUtil2.words);
    }
    public static Set<String> readTxtByLine(String path){
        Set<String> keyWordSet = new HashSet<String>();
        BufferedReader reader=null;
        String temp=null;
        try{
        File file= ResourceUtils.getFile(filePath);
        if(!file.exists()){      //文件流是否存在
            return keyWordSet;
        }
            //reader=new BufferedReader(new FileReader(file));這樣在web運行的時候，讀取會亂碼
            reader=new BufferedReader(new InputStreamReader(new FileInputStream(file),"UTF-8"));
            while((temp=reader.readLine())!=null){
                keyWordSet.add(temp);
            }
        } catch(Exception e){
            e.printStackTrace();
        } finally{
            if(reader!=null){
                try{
                    reader.close();
                }catch(Exception e){
                    e.printStackTrace();
                }
            }
        }
        return keyWordSet;
    }
    /**
     * 檢查文字中是否包含敏感字符，檢查規則如下：<br>
     * @param txt
     * @param beginIndex
     * @param matchType
     * @return，如果存在，則返回敏感詞字符的長度，不存在返回0
     * @version 1.0
     */
    @SuppressWarnings({ "rawtypes"})
    public static int checkBadWord(String txt,int beginIndex,int matchType){
        boolean  flag = false;    //敏感詞結束標識位：用於敏感詞只有1位的情況
        int matchFlag = 0;     //匹配標識數默認爲0
        char word = 0;
        Map nowMap = wordMap;
        for(int i = beginIndex; i < txt.length() ; i++){
            word = txt.charAt(i);
            nowMap = (Map) nowMap.get(word);     //獲取指定key
            if(nowMap != null){     //存在，則判斷是否爲最後一個
                matchFlag++;     //找到相應key，匹配標識+1
                if("1".equals(nowMap.get("isEnd"))){       //如果爲最後一個匹配規則,結束循環，返回匹配標識數
                    flag = true;       //結束標誌位爲true
                    if(minMatchTYpe == matchType){    //最小規則，直接返回,最大規則還需繼續查找
                        break;
                    }
                }
            }
            else{     //不存在，直接返回
                break;
            }
        }
        /*“粉飾”匹配詞庫：“粉飾太平”竟然說是敏感詞
         * “個人”匹配詞庫：“個人崇拜”竟然說是敏感詞
         * if(matchFlag < 2 && !flag){
            matchFlag = 0;
        }*/
        if(!flag){
            matchFlag = 0;
        }
        return matchFlag;
    }

    /**
     * 判斷文字是否包含敏感字符
     * @param txt  文字
     * @param matchType  匹配規則 1：最小匹配規則，2：最大匹配規則
     * @return 若包含返回true，否則返回false
     * @version 1.0
     */
    public static boolean isContaintBadWord(String txt,int matchType){
        boolean flag = false;
        for(int i = 0 ; i < txt.length() ; i++){
            int matchFlag = checkBadWord(txt, i, matchType); //判斷是否包含敏感字符
            if(matchFlag > 0){    //大於0存在，返回true
                flag = true;
            }
        }
        return flag;
    }

    /**
     * 替換敏感字字符
     * @param txt
     * @param matchType
     * @param replaceChar 替換字符，默認*
     * @version 1.0
     */
    public static String replaceBadWord(String txt,int matchType,String replaceChar){
        String resultTxt = txt;
        Set<String> set = getBadWord(txt, matchType);     //獲取所有的敏感詞
        Iterator<String> iterator = set.iterator();
        String word = null;
        String replaceString = null;
        while (iterator.hasNext()) {
            word = iterator.next();
            replaceString = getReplaceChars(replaceChar, word.length());
            resultTxt = resultTxt.replaceAll(word, replaceString);
        }

        return resultTxt;
    }
    /**
     * 獲取文字中的敏感詞
     * @param txt 文字
     * @param matchType 匹配規則 1：最小匹配規則，2：最大匹配規則
     * @return
     * @version 1.0
     */
    public static Set<String> getBadWord(String txt , int matchType){
        Set<String> sensitiveWordList = new HashSet<String>();

        for(int i = 0 ; i < txt.length() ; i++){
            int length = checkBadWord(txt, i, matchType);    //判斷是否包含敏感字符
            if(length > 0){    //存在,加入list中
                sensitiveWordList.add(txt.substring(i, i+length));
                i = i + length - 1;    //減1的原因，是因爲for會自增
            }
        }

        return sensitiveWordList;
    }

    /**
     * 獲取替換字符串
     * @param replaceChar
     * @param length
     * @return
     * @version 1.0
     */
    private static String getReplaceChars(String replaceChar,int length){
        String resultReplace = replaceChar;
        for(int i = 1 ; i < length ; i++){
            resultReplace += replaceChar;
        }

        return resultReplace;
    }

    /**
     * TODO 將我們的敏感詞庫構建成了一個類似與一顆一顆的樹，這樣我們判斷一個詞是否爲敏感詞時就大大減少了檢索的匹配範圍。
     * @param keyWordSet 敏感詞庫
     */
    @SuppressWarnings({ "unchecked", "rawtypes" })
    private static void addBadWordToHashMap(Set<String> keyWordSet) {
        wordMap = new HashMap(keyWordSet.size());     //初始化敏感詞容器，減少擴容操作
        String key = null;
        Map nowMap = null;
        Map<String, String> newWorMap = null;
        //迭代keyWordSet
        Iterator<String> iterator = keyWordSet.iterator();
        while(iterator.hasNext()){
            key = iterator.next();    //關鍵字
            nowMap = wordMap;
            for(int i = 0 ; i < key.length() ; i++){
                char keyChar = key.charAt(i);       //轉換成char型
                Object wordMap = nowMap.get(keyChar);       //獲取

                if(wordMap != null){        //如果存在該key，直接賦值
                    nowMap = (Map) wordMap;
                }
                else{     //不存在則，則構建一個map，同時將isEnd設置爲0，因爲他不是最後一個
                    newWorMap = new HashMap<String,String>();
                    newWorMap.put("isEnd", "0");     //不是最後一個
                    nowMap.put(keyChar, newWorMap);
                    nowMap = newWorMap;
                }

                if(i == key.length() - 1){
                    nowMap.put("isEnd", "1");    //最後一個
                }
            }
        }
    }


    public static void main(String[] args) {
        String string = "六合彩是違法的";
        System.out.println(BadWordUtil2.replaceBadWord(string,minMatchTYpe,"*"));

    }
}

需要jar包spring-core-5.1.3.RELEASE.jar