基于多传感器信息融合的人类抓握特征学习及物体识别

摘要：

基于柔性可穿戴传感器及多模态信息融合,研究人类的抓握特征学习及抓取物体识别,探索人类在抓取行为中所依赖的感知信息的使用.利用10个可拉伸传感器、14个温度传感器及78个压力传感器构建了数据手套并穿戴于人手,分别测量人类在抓取行为中手指关节的弯曲角度、抓取物体的温度及压力分布信息,并在时间及空间序列上建立了跨模态信息表征,同时使用深度卷积神经网络对此多模态信息进行融合,构建人类抓握特征学习模型,实现抓取物体的精准识别.分别针对关节角度特征、温度特征及压力信息特征进行了融合实验及有效性分析,结果表明了基于多传感器的多模态信息融合能够实现18种物品的精准识别.

关键词：柔性可穿戴传感器、多模态信息融合、卷积神经网络、抓握特征、物体识别

所属期刊栏目：42

分类号：TP212(自动化技术及设备)

资助基金：国家自然科学基金91648206,61673369;东南大学生物电子学国家重点实验室开放课题

在线出版日期：2020-05-22（万方平台首次上网日期，不代表论文的发表时间）

页数：共11页

页码：267-277