基于知识蒸馏模型ELECTRA-base-BiLSTM的文本分类
文本情感分析常用于口碑分析、话题监控、舆情分析,是自然语言处理最活跃的研究领域之一.深度学习中的预训练语言模型能解决文本情感分类任务中的一词多义、受词性及其位置影响等问题.但其模型复杂,参数繁多,导致消耗巨大资源,模型难部署.针对上述问题,采用知识蒸馏的思想,使用ELECTRA预训练模型作为教师模型,BiLSTM作为学生模型,提出基于ELECTRA-base-BiLSTM的蒸馏模型.将文本"one-hot"编码的词向量表示作为蒸馏模型的输入,进行中文文本情感分类.通过实验验证,分别比较加入ALBERT-tiny,ALBERT-base,BERT-base,BERT-wwm-ext,ERNIE-1.0,ERNIE-GRAM,ELEC-TRA-base这7种教师模型的蒸馏结果.研究发现ELECTRA-base-BiLSTM蒸馏模型的准确率、精确率和综合评价指标最高,情感分类效果最好,可以获得接近ELECTRA语言模型的文本情感分类结果,比轻量级浅层网络BiLSTM模型的分类准确率高5.58％.此模型在降低ELECTRA模型复杂度,减少资源消耗的同时,提升了轻量级BiLSTM模型的中文文本情感分类效果,对后续文本情感分类的研究具有一定的参考价值.
文本情感分类、预训练语言模型、模型压缩、知识蒸馏、ELECTRA-base-BiLSTM
49
TP391(计算技术、计算机技术)
国家自然科学基金;国家自然科学基金;浙江省自然科学基金项目;浙江省自然科学基金项目
2023-05-22（万方平台首次上网日期，不代表论文的发表时间）
共6页
132-137
