MSDL-IEW:面向文本分类的密集度感知主动学习算法

摘要：

为了解决文本分类任务中未标注数据无法即时标注及成本过高的问题,提出一种面向文本分类的不确定性主动学习方法.提出MSDL(Measure sample density by LDA)算法对未标注样本密集度进行计算,引入新的度量样本聚集情况的密集度计算方式,在密集度高的样本区域选取初始训练集样本,从而使初始训练集更具代表性;从未标注样本中选取更具不确定性的样本加入到训练集中,并基于信息熵对样本进行加权训练,迭代更新分类器模型,直至达到预期终止条件.实验结果表明,在文本分类任务中,该方法相较于其他传统主动学习算法性能更优.

关键词：文本分类、主动学习、隐含狄利克雷分布、不确定性、密集度

所属期刊栏目：36

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金;中央高校基本科研业务费专项;南京市科技计划;提升政府治理能力大数据应用技术国家工程实验室开放基金资助项目

在线出版日期：2021-04-20（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：240-247