轻量化汉语唇读模型及数据集构建

摘要：

为了促进汉语唇读的快速发展和实际应用,提出了一种基于交错组卷积和空洞卷积组合的轻量化唇读模型.所提模型通过分组卷积学习不同特征间的相关性,通过空洞卷积扩展模型视野,在大幅度降低模型参数量和复杂度的同时提高模型识别精度.针对汉语唇读数据集较少的问题,在可控制环境下录制了一个句子级汉语唇读数据集.在录制数据集和公开数据集上对轻量化唇读模型适用性进行实验验证,证明了模型的有效性.并通过热图可视化的方法分析了模型对视频帧和文本映射关系的学习能力.

关键词：汉语唇读、轻量化、交错组卷积、空洞卷积

所属期刊栏目：46

分类号：TN911.73

在线出版日期：2023-10-07（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：58-63