用于在线手写公式合成的编解码网络

摘要：

目的 在线公式识别是一种将在线输入手写轨迹点序列转换为公式文本的任务,其广泛应用在手机、平板等便携式设备上.众所周知,训练数据对于神经网络十分重要,但获取有标注的在线公式数据所需要的成本十分昂贵,在训练数据不足的情况下,深度神经网络在该任务上的泛化性和鲁棒性会受到影响.为此,提出了一个基于编码—解码模型的在线数据生成模型.方法 该模型从给定的公式文本生成对应的在线轨迹点序列,从而灵活地扩充训练数据规模.生成模型在编码器端设计了结合树形表示的文本特征提取模块,并且引入了基于位置的注意力算法,使模型实现了输入文本序列与输出轨迹序列间的对齐.同时,解码器端融入了不同手写入风格特征,使模型可以生成多种手写入风格的样本.结果 实验中,首先,将本文生成方法在不同类型输入文本和不同手写入风格上的结果可视化,并展示了模型在多数情况下的有效性.其次,生成模型合成的额外数据可作为训练集的增广,该数据被用于训练 Transformer-TAP(track,attend,and parse)、TAP 和 DenseTAP-TD(DenseNet TAP with tree decoder)模型,并分析了 3种模型在使用增广数据前后的性能变化.结果 表明,引入增广数据分进行训练后,3个模型的绝对识别率分别提升了 0.98％、1.55％和1.06％;相对识别率分别提升了 9.9％、12.37％和9.81％.结论 本文提出的在线生成模型可以更加灵活地实现对原有数据集的增广,并有效提升了在线识别模型的泛化性能.

关键词：深度学习、手写公式识别、端到端、编解码模型、数据增广

所属期刊栏目：28

分类号：TP391.4(计算技术、计算机技术)

在线出版日期：2023-09-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共14页

页码：2356-2369