10.3969/j.issn.1673-629X.2021.09.030
基于新词发现的古典文学作品分词方法研究
对于中文文本的分词研究来说,现有的分词方法和技术较多都是针对现代汉语,现代汉语的分词方法和体系已经很成熟,但对古代汉语的研究较少.由于古文的特殊性,将现代汉语的分词方法技术直接用于古汉语时,无法得到分词准确的理想效果,目前对古汉语分词方法的研究还未形成成熟的体系.文中提出一种基于新词发现的古典文学作品分词方法,即从大量古典文学作品语料中发现新词,构建古汉语分词词典,在此基础上再对古文文本进行分词.以《三国演义》古文文本处理为例,验证了基于新词发现的古典文学作品分词方法能有效提高古文分词的准确率.
古典文学;新词发现;分词;互信息;左右熵
31
TP301(计算技术、计算机技术)
国家重点研发计划项目2017YFB1400400
2021-09-29(万方平台首次上网日期,不代表论文的发表时间)
共5页
178-181,207