简单的敏感词提示功能

简单的敏感词提示功能

1. 需求

公司现在接到通知，部分接口的部分手动输入字段，需要新增敏感词报红提示，敏感词汇现在应该是7000多个左右，需要我们提供一个敏感词校验接口，如果前端输入敏感词，则前端提示出输入的非法敏感词信息，并且分词需要支持自定义字典信息。

2.具体实现

此接口的实现过程也是相对简单，主要是使用java的分词器进行前端输入字符串代码分词，然后使用分词后的结果集与数据库中的数据进行比对，如果比对成功，则证明前端页面字符输入有非法的敏感词汇，返回给前端提示即可，数据库中数据则是在服务启动的时候加载到服务内存中，以hashSet形式进行存储(因为hashSet.contains方法效率比较高)

具体的简单实现步骤如下：

• 引入分词器pom坐标
• 添加自定义分词字典文件
• 初始化加载数据库数据，加载自定义分词字典
• 编写判定接口，进行敏感字判定

自定义词典格式要求，词典格式和dict.txt 一样，一个词占一行；每一行分三部分：词语、词频（可省略）、词性（可省略），用空格隔开，顺序不可颠倒。具体词性列表如下所示：

参数	类型	含义解释
Ag	形语素	形容词性语素。形容词代码为 a，语素代码ｇ前面置以A。
a	形容词	取英语形容词 adjective 的第1个字母。
ad	副形词	直接作状语的形容词。形容词代码 a和副词代码d并在一起。
an	名形词	具有名词功能的形容词。形容词代码 a和名词代码n并在一起。
b	区别词	取汉字“别”的声母。
c	连词	取英语连词 conjunction的第1个字母。
dg	副语素	副词性语素。副词代码为 d，语素代码ｇ前面置以D。
d	副词	取 adverb的第2个字母，因其第1个字母已用于形容词。
e	叹词	取英语叹词 exclamation的第1个字母。
f	方位词	取汉字“方”
g	语素	绝大多数语素都能作为合成词的“词根”，取汉字“根”的声母。
h	前接成分	取英语 head的第1个字母。
i	成语	取英语成语 idiom的第1个字母。
j	简称略语	取汉字“简”的声母。
k	后接成分
l	习用语	习用语尚未成为成语，有点“临时性”，取“临”的声母。
m	数词	取英语 numeral的第3个字母，n，u已有他用。
Ng	名语素	名词性语素。名词代码为 n，语素代码ｇ前面置以N。
n	名词	取英语名词 noun的第1个字母。
nr	人名	名词代码 n和“人(ren)”的声母并在一起。
ns	地名	名词代码 n和处所词代码s并在一起。
nt	机构团体	“团”的声母为 t，名词代码n和t并在一起。
nz	其他专名	“专”的声母的第 1个字母为z，名词代码n和z并在一起。
o	拟声词	取英语拟声词 onomatopoeia的第1个字母。
p	介词	取英语介词 prepositional的第1个字母。
q	量词	取英语 quantity的第1个字母。
r	代词	取英语代词 pronoun 的第2个字母,因p已用于介词。
s	处所词	取英语 space 的第1个字母。
tg	时语素	时间词性语素。时间词代码为 t,在语素的代码g前面置以T。
t	时间词	取英语 time的第1个字母。
u	助词	取英语助词 auxiliary
vg	动语素	动词性语素。动词代码为 v。在语素的代码g前面置以V。
v	动词	取英语动词 verb的第一个字母。
vd	副动词	直接作状语的动词。动词和副词的代码并在一起。
vn	名动词	指具有名词功能的动词。动词和名词的代码并在一起。
w	标点符号
x	非语素字	非语素字只是一个符号，字母 x通常用于代表未知数、符号。
y	语气词	取汉字“语”的声母。
z	状态词	取汉字“状”的声母的前一个字母。
un	未知词	不可识别词及用户自定义词组。取英文 Unkonwn首两个字母。(非北大标准，CSW分词中定义)

3. 代码部分

• 引入pom信息

  <!-- 结巴分词 -->
  <dependency><groupId>com.huaban</groupId><artifactId>jieba-analysis</artifactId><version>1.0.2</version>
  </dependency>
  

• 添加自定义分词字典文件
  在resources目录下添加新的分词文件
  

• 初始化加载数据库数据，加载自定义分词字典

  package cn.git.init;import com.huaban.analysis.jieba.WordDictionary;
  import lombok.extern.slf4j.Slf4j;
  import org.springframework.stereotype.Component;import javax.annotation.PostConstruct;
  import java.io.File;
  import java.nio.file.Path;
  import java.nio.file.Paths;
  import java.util.HashSet;
  import java.util.Objects;
  import java.util.Set;/*** @description: 自定义分词词典加载初始化* @program: bank-credit-sy* @author: lixuchun* @create: 2024-08-13*/
  @Slf4j
  @Component
  public class AnalyzerInit {/*** 敏感词集合*/public static Set<String> sensitiveWordsSet = new HashSet<>();/*** 自定义词典路径*/private static final String DICT_PATH = "dict/custom.dict";/*** 初始化加载自定义分词词典*/@PostConstructpublic void analyzerInit() {// 获取自定义词典信息String dictFilePath = Objects.requireNonNull(getClass().getClassLoader().getResource(DICT_PATH)).getPath();Path path = Paths.get(new File(dictFilePath).getAbsolutePath());log.info("开始加载分词词典信息,获取自定义词典路径[{}]", dictFilePath);//加载自定义的词典进词库WordDictionary.getInstance().loadUserDict(path);log.info("加载自定义词典信息完毕");// 开始加载数据库中敏感词信息,大写字母修改为小写字母，此过程正常应该是在数据库中获取for (int i = 0; i < 1000000; i++) {if (i == 0) {sensitiveWordsSet.add("傻x");sensitiveWordsSet.add("牛p");sensitiveWordsSet.add("先烈的电话");} else {sensitiveWordsSet.add("傻x" + i);sensitiveWordsSet.add("牛p" + i);}}log.info("数据库中敏感分词加载完毕!");}
  }

• 编写判定接口，进行敏感字判定

  package cn.git.analysis;import cn.git.init.AnalyzerInit;
  import com.alibaba.fastjson.JSONObject;
  import com.huaban.analysis.jieba.JiebaSegmenter;
  import com.huaban.analysis.jieba.SegToken;
  import org.springframework.web.bind.annotation.GetMapping;
  import org.springframework.web.bind.annotation.RequestMapping;
  import org.springframework.web.bind.annotation.RestController;import java.util.ArrayList;
  import java.util.List;/*** @description: 分词测试controller* @program: bank-credit-sy* @author: lixuchun* @create: 2024-08-13*/
  @RestController
  @RequestMapping("/analyzer")
  public class AnalyzerController {/*** 分词测试方法*/@GetMapping("/test")public String test() {// 创建分词对象JiebaSegmenter jiebaSegmenter = new JiebaSegmenter();// 其中傻X是自定义分词，正常接收到字符串首先去除空格，然后调用分词方法String[] sentences = new String[] {"傻X上海这是一个伸手不见五指的黑夜。我叫孙悟空咸阳6合彩，我爱北京，我爱Python和C++。h动画", "我不喜欢日本和服。", "雷猴回归人间。","工信处女干事每月经过下属科室都要亲口交代24口交换机等技术性器件的安装工作先烈的电话，牛p啊", "结果婚的和尚未结过婚的666"};// 进行分词展示List<String> sentenceWordList = new ArrayList<>();for (String sentence : sentences) {List<SegToken> process = jiebaSegmenter.process(sentence, JiebaSegmenter.SegMode.INDEX);process.forEach(segToken -> {if (AnalyzerInit.sensitiveWordsSet.contains(segToken.word)) {sentenceWordList.add(segToken.word);}});}// 输出敏感词汇return JSONObject.toJSONString(sentenceWordList);}
  }

4.测试部分

使用请求简单测试 http://localhost:8089/analyzer/test，返回敏感词信息结果如下