基于Hadoop的大规模网络安全实体识别方法

摘要：

随着大数据时代的到来,如何从多源异构数据中准确地识别网络安全实体是构建网络安全知识图谱的基础问题.因此本文针对网络安全相关文本数据,研究支持海量网络数据的安全实体识别算法,为构建网络安全知识图谱奠定基础.针对海量的文本类网络数据中安全实体的高效精准抽取问题,本文基于Hadoop分布式计算框架提出改进的条件随机场(conditional random fields,CRF)算法,对数据集进行有效分割,实现安全实体的高效准确识别.在大规模真实网络数据集上的实验证明,本文提出的算法达到了较高的网络安全实体识别准确率,同时提高了识别的效率.

关键词：大数据、异构数据、网络安全、知识图谱、安全实体、实体识别、网络数据、Hadoop、CRF算法

所属期刊栏目：14

分类号：TP391.0(计算技术、计算机技术)

资助基金：国家自然科学基金项目61802081;贵州省公共大数据重点实验室开放课题2017BDKFJJ024;贵州省自然科学基金项目20161052

在线出版日期：2019-10-18（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：1017-1025