轉載請標明出處:http://blog.csdn.net/donkor_/article/details/81232529
前言:
開發中經常要處理用戶一些文字的提交,所以涉及到了敏感詞過濾的功能,參考資料中DFA有窮狀態機算法的實現,創建有向圖。完成了對敏感詞、廣告詞的過濾,而且效率較好,所以分享一下。
使用DFA算法實現的內容安全,反垃圾,智能鑑黃,敏感詞過濾,不良信息檢測,文本校驗,敏感詞檢測,包括關鍵詞提取等。
▲ DFA算法概述
DFA全稱爲:Deterministic Finite Automaton,即確定有窮自動機。其特徵爲:有一個有限狀態集合和一些從一個狀態通向另一個狀態的邊,每條邊上標記有一個符號,其中一個狀態是初態,某些狀態是終態。但不同於不確定的有限自動機,DFA中不會有從同一狀態出發的兩條邊標誌有相同的符號。
▲ 敏感詞匹配規則
最小匹配規則,如:敏感詞庫[“中國”,”中國人”],語句:”我是中國人”,匹配結果:我是[中國]人
最大匹配規則,如:敏感詞庫[“中國”,”中國人”],語句:”我是中國人”,匹配結果:我是[中國人]
▲ Android中的使用
敏感詞過濾工具SensitiveWordsUtils
public class SensitiveWordsUtils {
/**
* 敏感詞匹配規則
*/
public static final int MinMatchTYpe = 1;
public static final int MaxMatchType = 2;
/**
* 敏感詞集合
*/
public static HashMap sensitiveWordMap;
/**
* 初始化敏感詞庫,構建DFA算法模型
*
* @param sensitiveWordSet 敏感詞庫
*/
public static synchronized void init(Set<String> sensitiveWordSet) {
initSensitiveWordMap(sensitiveWordSet);
}
/**
* 初始化敏感詞庫,構建DFA算法模型
*
* @param sensitiveWordSet 敏感詞庫
*/
private static void initSensitiveWordMap(Set<String> sensitiveWordSet) {
//初始化敏感詞容器,減少擴容操作
sensitiveWordMap = new HashMap(sensitiveWordSet.size());
String key;
Map nowMap;
Map<String, String> newWorMap;
//迭代sensitiveWordSet
Iterator<String> iterator = sensitiveWordSet.iterator();
while (iterator.hasNext()) {
//關鍵字
key = iterator.next();
nowMap = sensitiveWordMap;
for (int i = 0; i < key.length(); i++) {
//轉換成char型
char keyChar = key.charAt(i);
//庫中獲取關鍵字
Object wordMap = nowMap.get(keyChar);
//如果存在該key,直接賦值,用於下一個循環獲取
if (wordMap != null) {
nowMap = (Map) wordMap;
} else {
//不存在則,則構建一個map,同時將isEnd設置爲0,因爲他不是最後一個
newWorMap = new HashMap<>();
//不是最後一個
newWorMap.put("isEnd", "0");
nowMap.put(keyChar, newWorMap);
nowMap = newWorMap;
}
if (i == key.length() - 1) {
//最後一個
nowMap.put("isEnd", "1");
}
}
}
}
/**
* 判斷文字是否包含敏感字符
*
* @param txt 文字
* @param matchType 匹配規則 1:最小匹配規則,2:最大匹配規則
* @return 若包含返回true,否則返回false
*/
public static boolean contains(String txt, int matchType) {
boolean flag = false;
for (int i = 0; i < txt.length(); i++) {
int matchFlag = checkSensitiveWord(txt, i, matchType); //判斷是否包含敏感字符
if (matchFlag > 0) { //大於0存在,返回true
flag = true;
}
}
return flag;
}
/**
* 判斷文字是否包含敏感字符
*
* @param txt 文字
* @return 若包含返回true,否則返回false
*/
public static boolean contains(String txt) {
return contains(txt, MaxMatchType);
}
/**
* 獲取文字中的敏感詞
*
* @param txt 文字
* @param matchType 匹配規則 1:最小匹配規則,2:最大匹配規則
* @return
*/
public static Set<String> getSensitiveWord(String txt, int matchType) {
Set<String> sensitiveWordList = new HashSet<>();
for (int i = 0; i < txt.length(); i++) {
//判斷是否包含敏感字符
int length = checkSensitiveWord(txt, i, matchType);
if (length > 0) {//存在,加入list中
sensitiveWordList.add(txt.substring(i, i + length));
i = i + length - 1;//減1的原因,是因爲for會自增
}
}
return sensitiveWordList;
}
/**
* 獲取文字中的敏感詞
*
* @param txt 文字
* @return
*/
public static Set<String> getSensitiveWord(String txt) {
return getSensitiveWord(txt, MaxMatchType);
}
/**
* 替換敏感字字符
*
* @param txt 文本
* @param replaceChar 替換的字符,匹配的敏感詞以字符逐個替換,如 語句:我愛中國人 敏感詞:中國人,替換字符:*, 替換結果:我愛***
* @param matchType 敏感詞匹配規則
* @return
*/
public static String replaceSensitiveWord(String txt, char replaceChar, int matchType) {
String resultTxt = txt;
//獲取所有的敏感詞
Set<String> set = getSensitiveWord(txt, matchType);
Iterator<String> iterator = set.iterator();
String word;
String replaceString;
while (iterator.hasNext()) {
word = iterator.next();
replaceString = getReplaceChars(replaceChar, word.length());
resultTxt = resultTxt.replaceAll(word, replaceString);
}
return resultTxt;
}
/**
* 替換敏感字字符
*
* @param txt 文本
* @param replaceChar 替換的字符,匹配的敏感詞以字符逐個替換,如 語句:我愛中國人 敏感詞:中國人,替換字符:*, 替換結果:我愛***
* @return
*/
public static String replaceSensitiveWord(String txt, char replaceChar) {
return replaceSensitiveWord(txt, replaceChar, MaxMatchType);
}
/**
* 替換敏感字字符
*
* @param txt 文本
* @param replaceStr 替換的字符串,匹配的敏感詞以字符逐個替換,如 語句:我愛中國人 敏感詞:中國人,替換字符串:[屏蔽],替換結果:我愛[屏蔽]
* @param matchType 敏感詞匹配規則
* @return
*/
public static String replaceSensitiveWord(String txt, String replaceStr, int matchType) {
String resultTxt = txt;
//獲取所有的敏感詞
Set<String> set = getSensitiveWord(txt, matchType);
Iterator<String> iterator = set.iterator();
String word;
while (iterator.hasNext()) {
word = iterator.next();
resultTxt = resultTxt.replaceAll(word, replaceStr);
}
return resultTxt;
}
/**
* 替換敏感字字符
*
* @param txt 文本
* @param replaceStr 替換的字符串,匹配的敏感詞以字符逐個替換,如 語句:我愛中國人 敏感詞:中國人,替換字符串:[屏蔽],替換結果:我愛[屏蔽]
* @return
*/
public static String replaceSensitiveWord(String txt, String replaceStr) {
return replaceSensitiveWord(txt, replaceStr, MaxMatchType);
}
/**
* 獲取替換字符串
*
* @param replaceChar
* @param length
* @return
*/
private static String getReplaceChars(char replaceChar, int length) {
String resultReplace = String.valueOf(replaceChar);
for (int i = 1; i < length; i++) {
resultReplace += replaceChar;
}
return resultReplace;
}
/**
* 檢查文字中是否包含敏感字符,檢查規則如下:<br>
*
* @param txt
* @param beginIndex
* @param matchType
* @return 如果存在,則返回敏感詞字符的長度,不存在返回0
*/
private static int checkSensitiveWord(String txt, int beginIndex, int matchType) {
//敏感詞結束標識位:用於敏感詞只有1位的情況
boolean flag = false;
//匹配標識數默認爲0
int matchFlag = 0;
char word;
Map nowMap = sensitiveWordMap;
for (int i = beginIndex; i < txt.length(); i++) {
word = txt.charAt(i);
//獲取指定key
nowMap = (Map) nowMap.get(word);
if (nowMap != null) {//存在,則判斷是否爲最後一個
//找到相應key,匹配標識+1
matchFlag++;
//如果爲最後一個匹配規則,結束循環,返回匹配標識數
if ("1".equals(nowMap.get("isEnd"))) {
//結束標誌位爲true
flag = true;
//最小規則,直接返回,最大規則還需繼續查找
if (MinMatchTYpe == matchType) {
break;
}
}
} else {//不存在,直接返回
break;
}
}
if (matchFlag < 2 && !flag) {//長度必須大於等於1,爲詞
matchFlag = 0;
}
return matchFlag;
}
}
About me
Email :[email protected]
Android開發交流QQ羣 : 537891203