基于语音增强的视听辅助方法及系统
本发明提供的基于语音增强的视听辅助方法及系统，包括：拾取含噪声在内的语音信号，并对该语音信号进行一级降噪后得到第一音频信息；将第一音频信号转换为两路音频输出信号；对其中的一路音频输出信号进行音频信号处理后播放；将另一路音频输出信号发送至云端服务器；云端服务器接收第一传输模块发送的音频输出信号；对接收的音频输出信号进行二级降噪后得到第二音频信号；提取第二音频信号中的文字信号并输出；接收云端服务器发送的文字信号，对接收的文字信号进行处理后显示；本发明能够以文字和语音两种方式进行辅助交流、提高听障人士理解力，适用于听障辅助领域。
发明专利
CN202010496354.5
2020-06-03
CN111640448A
2020-09-08
G10L21/0208(2013.01)
山西见声科技有限公司
周辉;邓朋朋;高鑫;王之帅
030032 山西省太原市小店区山西转型综合改革示范区太原唐槐园区科技创新孵化基地4号楼8层
太原九得专利代理事务所(普通合伙)
高璇
山西;14
1.基于语音增强的视听辅助方法，其特征在于：包括： 辅助装置拾取含噪声在内的语音信号，并对该语音信号进行一级降噪后得到第一音频信息；将第一音频信号转换为两路音频输出信号；对其中的一路音频输出信号进行音频信号处理后播放；将另一路音频输出信号发送至云端服务器； 云端服务器接收第一传输模块发送的音频输出信号；对接收的音频输出信号进行二级降噪后得到第二音频信号；提取第二音频信号中的文字信号并输出； 接收云端服务器发送的文字信号，对接收的文字信号进行处理后显示。 2.根据权利要求1所述的基于语音增强的视听辅助方法，其特征在于：还包括： 辅助装置响应于请求方的录制指令，并将录制指令发送至云端服务器； 云端服务器接收录制指令，并根据录制指令，对接收的第二音频信号进行云存储； 以及辅助装置响应于请求方的回调指令，并将录制指令发送至云端服务器； 云端服务器接收回调指令，调取云存储中的音频存储信号，对音频存储信号进行文字信号的提取并输出。 3.根据权利要求1所述的基于语音增强的视听辅助方法，其特征在于：所述提取第二音频信号中的文字信号并输出之前，还包括： 判断接收的第二音频信号是否为静音状态，若是，则使处于休眠状态，若否，则对第二音频信号进行文字信号的提取。 4.根据权利要求1所述的基于语音增强的视听辅助方法，其特征在于：所述拾取含噪声在内的语音信号，并对该语音信号进行一级降噪后得到第一音频信息，具体包括： 对含噪声在内的语音信号进行多路拾取，得到多路音频信息； 对每路音频信息进行单路降噪； 将降噪后的多路音频信息合成为第一音频信息。 5.根据权利要求1所述的基于语音增强的视听辅助方法，其特征在于：所述对接收的音频输出信号进行二级降噪后得到第二音频信号，具体包括： 通过环境噪声模块对接收的音频输出信号进行二级降噪后得到第二音频信号。 6.基于语音增强的视听辅助系统，其特征在于：包括辅助装置（10），所述辅助装置（10）与云端服务器（20）无线通信连接； 所述辅助装置（10）包括： 拾取模块（101），用于拾取含噪声在内的语音信号，并对该语音信号进行一级降噪后得到第一音频信息； 多路转化模块（102），用于将第一音频信号转换为两路音频输出信号； 音频处理模块（103），用于对其中的一路音频输出信号进行音频信号处理后播放； 第一传输模块（104），用于将另一路音频输出信号发送至云端服务器（20），以及用于接收云端服务器（20）发送的文字信号； 文字处理模块（105），用于对接收的文字信号进行处理后显示； 所述云端服务器（20）包括： 第二传输模块（201），用于接收第一传输模块（104）发送的音频输出信号，以及用于将语音识别引擎（203）输出的文字信号发送至辅助装置（10）； AI降噪模块（202），用于对接收的音频输出信号进行二级降噪后得到第二音频信号； 语音识别引擎（203），用于提取第二音频信号中的文字信号并输出。 7.根据权利要求6所述的基于语音增强的视听辅助系统，其特征在于：所述第一传输模块（104）还包括：响应于请求方的录制指令，并将录制指令发送至云端服务器，以及响应于请求方的回调指令，并将录制指令发送至云端服务器； 所述第二传输模块（201）还包括：用于接收录制指令，以及接收回调指令； 所述云端服务器（20）还包括： 录制接口（204），用于根据录制指令，对第二音频信号进行录制； 云储存模块（205），用于存储录制接口（204）录制的音频信息； 回调接口（206），用于根据回调指令，将调取的音频信息发送至语音识别引擎（203）； 所述语音识别引擎（203），还用于接收回调的音频信息，并对音频存储信号进行文字信号的提取并输出。 8.根据权利要求6所述的基于语音增强的视听辅助系统，其特征在于：所述云端服务器（20）还包括： 语音激活检测模块（207），用于判断接收的第二音频信号是否为静音状态，若是，则使语音识别引擎（203）处于休眠状态，若否，则激活语音识别引擎（203），使其对第二音频信号进行文字信号的提取。 9.根据权利要求6所述的基于语音增强的视听辅助系统，其特征在于：所述拾取模块（101）包括： 麦克风阵列（1011），用于对含噪声在内的语音信号进行多路拾取，得到多路音频信息； 本地降噪模块（1012），用于对每路音频信息进行单路降噪； 语音合成模块（1013），用于将降噪后的多路音频信息合成为第一音频信息。 10.根据权利要求6所述的基于语音增强的视听辅助系统，其特征在于：所述的AI降噪模块（202），其上存储有多个环境噪声模型，通过环境噪声模块对接收的音频输出信号进行二级降噪后得到第二音频信号。