网约车安全监测装置及系统

摘要：

本发明提供一种网约车安全监测装置及系统，网约车安全监测装置，其特征在于，包括：音频采集部，用于实时采集车内的声音并处理为音频流；争吵环境识别判定部，用于根据预先训练好的争吵判别网络从音频流中识别出含有争吵对话的争吵语音段，并在识别出争吵语音段时判定网约车处于争吵环境；争吵隐患提示输出部，一旦车内环境处于争吵环境，就生成争吵预警提示并与争吵语音段进行对应输出；危险关键词识别部，用于将争吵语音段输入预先训练好的方言关键词识别模型进行识别从而判断争吵语音段中是否出现有预定的危险关键词；以及紧急措施提示输出部，一旦识别出危险关键词，就生成并输出紧急措施采取请求从而提示需要紧急进行应对措施。

专利类型：发明专利

申请/专利号：CN202010980350.4

申请日期：2020-09-17

公开/公告号：CN112071309A

公开/公告日：2020-12-11

主分类号：G10L15/06(2013.01)

申请/专利权人:苏州上下文人工智能技术研发有限公司

发明/设计人:卢鹏

主申请人地址:215123 江苏省苏州市吴中区苏州工业园区星湖街328号创意产业园A1-13单元(集群登记)

专利代理机构:上海德昭知识产权代理有限公司

代理人:卢泓宇

国别省市代码:江苏;32

权利要求：

1.一种网约车安全监测装置，其特征在于，包括： 音频采集部，设置在网约车内，用于实时采集车内的声音并处理为音频流； 争吵环境识别判定部，具有预先至少基于含有争吵对话的争吵音频数据训练得到的争吵判别网络，用于通过所述争吵判别网络在所述音频流中识别出对话处于争吵状态的争吵语音段，并在识别出所述争吵语音段时判定所述网约车的车内环境处于争吵环境； 争吵隐患提示输出部，一旦所述争吵环境判断部判断所述车内环境处于所述争吵环境，就生成争吵预警提示并将该争吵语音提示与所述争吵语音段进行对应输出； 危险关键词识别部，具有预先训练好的方言关键词识别模型，用于将所述争吵语音段输入所述方言关键词识别模型进行识别从而判断所述争吵语音段中是否出现有预定的危险关键词；以及 紧急措施提示输出部，一旦所述危险关键词识别部在所述争吵语音段中识别出所述危险关键词，就生成并输出紧急措施采取请求从而提示需要紧急进行应对措施， 其中，所述方言关键词识别模型至少基于对应各种方言且含有所述危险关键词的关键词语音数据预先训练得到。 2.根据权利要求1所述的网约车安全监测装置，其特征在于： 其中，所述争吵环境检测部还包括争吵网络存储单元、语音端点检测单元、争吵音频识别单元以及争吵判断单元， 所述争吵网络存储单元用于存储所述争吵判别网络， 所述语音端点检测单元对所述音频流进行语音端点检测并从中识别出含有人声的语音音频段， 所述争吵音频识别单元依次将所述语音音频段输入所述争吵判别网络并输出所述语音音频段是否处于争吵状态的争吵判别结果， 所述争吵判断单元在所述争吵判别结果判断为是时判断所述车内环境为争吵环境并将相对应的所述语音音频段作为争吵音频段。 3.根据权利要求1所述的网约车安全监测装置，其特征在于： 其中，所述争吵判别网络以及关键词识别模型预先通过如下训练步骤得到： 步骤S1-1，获取多个正常对话时产生的正常语音数据、多个含有争吵对话的争吵语音数据以及对应于各种方言的若干个关键词语音数据； 步骤S1-2，分别对每个所述正常语音数据、所述争吵语音数据以及所述关键词语音数据进行预处理并形成相应的多个正常音频数据、争吵音频数据以及若干个关键词音频数据； 步骤S1-3，根据所述多个正常音频数据争吵音频数据对所述争吵判别网络进行训练使得该争吵判别网络能够判别对话是否出争吵状态； 步骤S1-4，根据所述多个争吵音频数据以及所述若干个关键词音频数据对所述方言关键词识别模型进行联合训练使得所述方言关键词识别模型能够从争吵对话中识别出用方言说出的关键词。 4.根据权利要求3所述的网约车安全监测装置，其特征在于： 其中，所述预处理至少包括噪声混合处理， 所述噪声混合处理为将多种预设的噪声分别与所述争吵语音数据以及所述关键词语音数据进行混合从而得到所述争吵音频以及所述关键词音频， 所述噪声为稳态噪声以及非稳态噪声， 所述稳态噪声至少包括风声以及发动机电机声， 所述非稳态噪声至少包括敲击声以及开门声。 5.根据权利要求1所述的网约车安全监测装置，其特征在于，还包括： 训练用语音存储部， 其中，一旦所述争吵环境判断部识别出的所述争吵语音段，所述训练语音存储部就将被识别出的所述争吵语音段进行存储。 6.根据权利要求1所述的网约车安全监测装置，其特征在于，还包括： 训练用语音存储部， 其中，一旦所述危险关键词识别部在所述争吵语音段中识别出所述危险关键词，所述训练语音存储部就根据所述危险关键词从所述争吵语音段中截取出对应的危险关键词语音段进行存储。 7.根据权利要求1所述的网约车安全监测装置，其特征在于： 其中，所述争吵网络模型包括输入层、两个隐藏层以及分类层， 所述隐藏层采用LSTM结构。 8.一种网约车安全监测系统，用于让网约车平台对旗下的各个网约车进行安全监测，其特征在于，包括： 多个网约车安全监测装置，分别设置在各个所述网约车中；以及 平台安全管理装置，由所述网约车平台持有，与各个所述网约车安全监测装置分别相通信连接， 其中，所述网约车安全监测装置为权利要求1至7中任意一项所述的网约车安全监测装置， 所述平台安全管理装置用于在接收到所述网约车安全监测装置发送的所述紧急措施采取请求时提示所述网约车平台的安全管理人员采取相应的紧急措施。 9.根据权利要求8所述的网约车安全监测系统，其特征在于： 其中，所述平台安全管理装置具有争吵语音暂存部、画面存储部以及输入显示部， 所述争吵语音暂存部暂存有从所述网约车安全监测装置接收到的所述争吵预警提示以及对应的所述争吵语音段， 所述画面存储部存储有网约车安全监控画面， 所述输入显示部显示所述网约车安全监控画面并显示被暂存的所述争吵预警提示以及对应的所述争吵语音段让所述安全管理人员查看并进行安全管理。