唇语识别系统及方法

摘要：

本发明实施例公开了一种唇语识别系统及方法，属于识别技术领域。其中唇语识别系统包括：唇语训练模型建立模块、实时唇语采集模块、唇语预测模块以及唤醒模块，唇语训练模型建立模块用于根据大量唇语图像和对应的唤醒词进行学习，以预先建立唇语训练模型；实时唇语采集模块用于实时采集用户的唇部视频图像，并将采集的唇部视频图像提供给唇语预测模块；唇语预测模块用于对唇部视频图像进行自动分析，提取唇部图像特征值，根据唇语训练模型和唇部图像特征值得到预测结果，将预测结果提供给唤醒模块；唤醒模块用于根据唇语预测模块提供的预测结果生成控制指令，以控制相应的车载系统。本发明能够提高对用户唇语控制指令的识别效率。

专利类型：发明专利

申请/专利号：CN201910220908.6

申请日期：2019-03-22

公开/公告号：CN111724786A

公开/公告日：2020-09-29

主分类号：G10L15/25(2013.01)

申请/专利权人:上海博泰悦臻网络技术服务有限公司

发明/设计人:田发景

主申请人地址:201821 上海市嘉定区叶城路1630号10幢1153室

专利代理机构:上海波拓知识产权代理有限公司

代理人:张媛

国别省市代码:上海;31

权利要求：

1.一种唇语识别系统，其特征在于，其包括：唇语训练模型建立模块、实时唇语采集模块、唇语预测模块以及唤醒模块，其中， 所述唇语训练模型建立模块，与所述唇语预测模块相连，用于根据大量唇语图像和对应的唤醒词进行学习，以预先建立唇语训练模型，并将预先建立的唇语训练模型提供给所述唇语预测模块； 所述实时唇语采集模块，与所述唇语预测模块相连，用于实时采集用户的唇部视频图像，并将采集的唇部视频图像提供给所述唇语预测模块； 所述唇语预测模块，与所述唤醒模块相连，用于对唇部视频图像进行自动分析，提取唇部图像特征值，根据唇语训练模型和唇部图像特征值得到预测结果，将预测结果提供给所述唤醒模块； 所述唤醒模块，用于根据所述唇语预测模块提供的预测结果生成控制指令，以控制相应的车载系统。 2.根据权利要求1所述的唇语识别系统，其特征在于，所述唇语训练模型建立模块还用于采集不同年龄段、不同性别的人群对相同唤醒词进行语音训练的唇部图像，并根据采集的唇部图像采用循环神经网络算法得到唇语训练模型。 3.根据权利要求2所述的唇语识别系统，其特征在于，所述唇语训练模型包括唇部图像特征值和对应的唤醒词，所述唇部图像特征值包括唇部形状。 4.根据权利要求1所述的唇语识别系统，其特征在于，所述实时唇语采集模块为设置于车内上方的摄像头。 5.根据权利要求1所述的唇语识别系统，其特征在于，所述唇语识别系统还包括语音识别模块，所述实时唇语采集模块还用于将采集的唇部视频图像提供给所述语音识别模块，所述语音识别模块用于对唇部视频图像进行语音识别，以得到语音识别结果后提供给所述唤醒模块，所述唤醒模块还用于根据所述唇语预测模块提供的预测结果和所述语音识别模块提供的语音识别结果生成控制指令，以控制相应的车载系统。 6.根据权利要求5所述的唇语识别系统，其特征在于，所述唤醒模块还用于根据预测结果和语音识别结果在不同环境条件下训练出环境权重，并根据所述环境权重、预测结果和语音识别结果生成控制指令，以控制相应的车载系统。 7.一种唇语识别方法，其特征在于，其包括： 根据大量唇语图像和对应的唤醒词进行学习，以预先建立唇语训练模型； 实时采集用户的唇部视频图像； 对唇部视频图像进行自动分析，提取唇部图像特征值，根据唇语训练模型和唇部图像特征值得到预测结果； 根据预测结果生成控制指令，以控制相应的车载系统。 8.根据权利要求7所述的唇语识别方法，其特征在于，根据大量唇语图像和对应的唤醒词进行学习，以预先建立唇语训练模型，包括： 采集不同年龄段、不同性别的人群对相同唤醒词进行语音训练的唇部图像，并根据采集的唇部图像采用循环神经网络算法得到唇语训练模型。 9.根据权利要求7所述的唇语识别方法，其特征在于，根据预测结果生成控制指令，以控制相应的车载系统，包括： 对唇部视频图像进行语音识别，以得到语音识别结果； 根据预测结果和语音识别结果生成控制指令，以控制相应的车载系统。 10.根据权利要求9所述的唇语识别方法，其特征在于，还包括： 根据预测结果和语音识别结果在不同环境条件下训练出环境权重，并根据所述环境权重、预测结果和语音识别结果生成控制指令，以控制相应的车载系统。