基于条件随机场的敏感话题检测模型研究

摘要：

敏感话题通常包含态度倾向性,且具有一定的先验知识,如何有效利用这些先验知识来判断网络文本的敏感性是敏感话题检测的研究难点和热点.在充分利用条件随机场强大知识拟合能力的基础上,提出一种基于条件随机场的敏感话题检测模型.抽取特征词项,并结合敏感词汇库,将待检测文档和敏感话题类别分别表示为条件随机场中的观察序列和状态序列,再利用敏感话题类别中的先验知识来构造特征函数,从而使观察序列和状态序列建立联系.将待测文档中的特征项根据概率标注为敏感话题类别中的词项,在此过程中采用Viterbi算法对观察序列的可信度进行估计,并依据估计所得的概率值对待测文档中的特征项进行敏感性标注.实例验证结果表明,该算法能够得到较好的准确率、召回率和F度量值.

关键词：敏感话题检测、条件随机场、特征函数、特征词项、Viterbi算法、敏感性标注

所属期刊栏目：40

分类号：TP391(计算技术、计算机技术)

资助基金：国家语委“十二五”科研规划基金资助项目YB125-49;教育部科学技术研究基金资助重点项目212167;中央高校基本科研业务费专项资金科技创新基金资助项目SWJTU12CX096;国家级大学生创新创业训练计划基金资助项目201210694017

在线出版日期：2014-09-15（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：158-162,167