基于视-触跨模态感知的智能导盲系统

摘要：

盲人活动援助是盲人日常生活的重要组成部分.这些技术大多用于帮助盲人导航和躲避障碍物,很少有研究将地面信息转换成一种给用户直观感受的触觉信息.为了满足上述需求,本文提出了一种可以提供触觉反馈的盲人辅助地面识别智能导盲杖系统.试图利用深度生成对抗训练的方法来产生振动触觉刺激,使用改进的DiscoGAN训练了我们的端到端生成网络.为了训练我们的网络,构建了视触跨模态数据集GroVib.通过上机实验和实物实验来评估方案的可行性,通过上机实验结果表明参与者通过触觉识别地面的准确率为84.7％,触觉的平均真实感受得分为71.3,在真实场景实验中,参与者只需平均3.35次尝试就可以根据触觉反馈来识别地面.

关键词：盲人用户、电子手杖、跨模态技术、触觉、数据集、深度学习、计算机视觉、生成对抗网络

所属期刊栏目：15

分类号：TP391.4(计算技术、计算机技术)

资助基金：国家自然科学基金重点项目;河北省自然科学基金项目

在线出版日期：2020-07-01（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：33-40