基于语音及图像处理的道路违规自动上报方法及系统
本发明涉及人工智能技术领域，提出一种基于语音及图像处理的道路违规自动上报方法、系统、电子装置及计算机可读存储介质，其中的方法包括：通过自然语言处理和自然语言生成获取用户意图；根据用户意图获取行车记录仪中的待上报图像；通过卷积神经网络获取待上报图像对应的分类信息；通过比较待上报图像对应的分类信息与预设的违规标准图像，判断待上报图像是否属于违规图像；如果待上报图像属于违规图像，则对待上报图像做上报处理。此外，本发明还涉及区块链技术，预设的违规标准图像可存储于区块链中。
发明专利
CN202010344544.5
2020-04-27
CN111613225A
2020-09-01
G10L15/26(2006.01)
深圳壹账通智能科技有限公司
陈静静
518000 广东省深圳市前海深港合作区前湾一路1号A栋201室(入驻深圳市前海商务秘书有限公司)
北京鸿元知识产权代理有限公司
张娓娓%袁文婷
广东;44
1.一种基于语音及图像处理的道路违规自动上报方法，应用于电子装置，所述方法包括： 通过自然语言处理和自然语言生成对用户语音进行处理，获取用户意图； 根据所述用户意图获取行车记录仪中的待上报图像； 通过卷积神经网络对所述待上报图像进行处理，获取所述待上报图像对应的分类信息； 通过比较所述待上报图像对应的分类信息与预设的违规标准图像，判断所述待上报图像是否属于违规图像； 如果所述待上报图像属于违规图像，则对所述待上报图像做上报处理。 2.根据权利要求1所述的基于语音及图像处理的道路违规自动上报方法，其特征在于， 所述通过自然语言处理和自然语言生成对用户语音进行处理，获取用户意图的步骤包括： 通过所述自然语言处理对所述用户语音进行处理，将所述用户语音转化为文本； 通过所述自然语言生成对所转化的文本进行分析，获取所述文本中表示用户文字信息。 3.根据权利要求2所述的基于语音及图像处理的道路违规自动上报方法，其特征在于， 所述通过所述自然语言处理对所述用户语音进行处理，将所述用户语音转化为文本的步骤包括： 将所述用户语音预处理后并进行特征提取； 将提取的特征与语音模型库中的语音信号进行模式匹配，实现用户语音向文本的转化。 4.根据权利要求2所述的基于语音及图像处理的道路违规自动上报方法，其特征在于， 所述通过所述自然语言生成对所转化的文本进行分析，获取所述文本中表示用户文字信息的步骤包括： 利用构建的深度学习模型对接收到的文本的多个词组结合语境进行上下文理解、语义消歧，获取多个词组的语义结果； 将所述多个词组的语义结果分别与知识图谱的词组进行比对，获取每个词组的相似度值； 将相似度值最高的词组作为每个词组的语义结果，进一步获取多个词组的语义结果； 将所述多个词组的语义结果进行组合，生成文字信息的语义理解结果，根据所述语义理解结果获取用户意图的文字信息。 5.根据权利要求1所述的基于语音及图像处理的道路违规自动上报方法，其特征在于， 所述通过卷积神经网络对获取的行车记录仪中的图像进行处理，获取图像对应的分类信息的步骤包括： 对获取的行车记录仪中的图像进行预处理； 通过卷积神经网络对经过预处理的图像进行图像特征提取，获得每一元素图像的特征，并对所述特征进行量化以获取特征向量； 根据所述特征向量，获取目标分类特征信息，其中，所述目标分类特征信息中包含多个目标类别以及每一目标类别对应的目标特征向量； 根据所述元素图像与目标分类特征信息中的目标特征确定图像对应的分类；其中，将元素图像与目标分类特征信息中的目标特征进行匹配，获取每一元素图像对应的类别信息。 6.根据权利要求5所述的基于语音及图像处理的道路违规自动上报方法，所述预设的违规标准图像存储于区块链中，其特征在于， 所述对获取的行车记录仪中的图像进行预处理的步骤包括： 根据待处理图像的长宽比例信息，对所述待处理图像进行分组并得出多组待处理图像； 设置与每组待处理图像分别对应的模板图像信息，所述模板图像信息包括宽度信息和高度信息； 对同一组中的所有待处理图像进行等比例放大或缩小，直至所述待处理图像的宽度不大于所述模板图像的宽度信息，高度不大于所述模板图像的高度信息； 以所述模板图像为框架，对所述等比例放大或缩小后的待处理图像进行配置处理。 7.一种基于语音及图像处理的道路违规自动上报系统，其特征在于，包括： 用户意图获取模块，用于通过自然语言处理和自然语言生成对用户语音进行处理，获取用户意图； 图像获取模块，用于根据所述用户意图获取行车记录仪中的待上报图像； 分类信息获取模块，用于通过卷积神经网络对所述待上报图像进行处理，获取所述待上报图像对应的分类信息； 判断结果获取模块，用于通过比较所述待上报图像对应的分类信息与预设的违规标准图像，判断所述待上报图像是否属于违规图像； 违规上报处理模块，用于如果所述待上报图像属于违规图像，则对所述待上报图像做上报处理。 8.一种电子装置，其特征在于，该电子装置包括：存储器、处理器，所述存储器中包括基于语音及图像处理的道路违规自动上报程序，所述基于语音及图像处理的道路违规自动上报程序被所述处理器执行时实现如下步骤： 通过自然语言处理和自然语言生成对用户语音进行处理，获取用户意图； 根据所述用户意图获取行车记录仪中的待上报图像； 通过卷积神经网络对所述待上报图像进行处理，获取所述待上报图像对应的分类信息； 通过比较所述待上报图像对应的分类信息与预设的违规标准图像，判断所述待上报图像是否属于违规图像； 如果所述待上报图像属于违规图像，则对所述待上报图像做上报处理。 9.根据权利要求8所述的电子装置，其特征在于， 所述通过卷积神经网络对获取的行车记录仪中的图像进行处理，获取图像对应的分类信息的步骤包括： 对获取的行车记录仪中的图像进行预处理； 通过卷积神经网络对经过预处理的图像进行图像特征提取，获得每一元素图像的特征，并对所述特征进行量化以获取特征向量； 根据所述特征向量，获取目标分类特征信息，其中，所述目标分类特征信息中包含多个目标类别以及每一目标类别对应的目标特征向量； 根据所述元素图像与目标分类特征信息中的目标特征确定图像对应的分类；其中，将元素图像与目标分类特征信息中的目标特征进行匹配，获取每一元素图像对应的类别信息。 10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括基于语音及图像处理的道路违规自动上报程序，所述基于语音及图像处理的道路违规自动上报程序被处理器执行时，实现如权利要求1至6中任一项所述的基于语音及图像处理的道路违规自动上报方法的步骤。