人物情绪识别方法、装置、终端设备及存储介质

摘要：

本申请适用于人工智能技术领域，提供了一种人物情绪识别方法、装置、终端设备及存储介质，该方法包括：获取多个时刻下的多种待识别信息；从多个时刻下的多种待识别信息中，提取当前时刻下的多种识别信息，并从多种识别信息中提取多种识别特征；将多种识别特征输入至预设的时序模型中，得到多种时序特征；融合多种时序特征得到融合特征，并根据融合特征识别当前时刻下目标人物的情绪。通过上述方法可得到当前时刻下目标人物的多模态信息的融合特征，进而在根据融合特征识别当前时刻下目标人物的情绪时，可提高对目标人物情绪识别的准确率。同时，本申请还涉及区块链技术，可将情绪识别结果上传至区块链中进行存储。

专利类型：发明专利

申请/专利号：CN202011074185.2

申请日期：2020-10-09

公开/公告号：CN112233698A

公开/公告日：2021-01-15

主分类号：G10L25/63(2013.01)

申请/专利权人:中国平安人寿保险股份有限公司

发明/设计人:毛宇兆;高维国;李炫

主申请人地址:518000 广东省深圳市福田区福华三路星河发展中心办公9、10、11层

专利代理机构:深圳中一联合知识产权代理有限公司

代理人:任敏

国别省市代码:广东;44

权利要求：

1.一种人物情绪识别方法，其特征在于，包括： 获取多个时刻下的多种待识别信息，所述多种待识别信息包括文本信息、音频文件以及视频图像； 从所述多个时刻下的多种待识别信息中，提取当前时刻下的多种识别信息，并从所述多种识别信息中提取多种识别特征； 将所述多种识别特征输入至预设的时序模型中，得到多种时序特征； 融合所述多种时序特征得到融合特征，并根据所述融合特征识别所述当前时刻下目标人物的情绪。 2.如权利要求1所述的人物情绪识别方法，其特征在于，所述从所述多个时刻下的多种待识别信息中，提取当前时刻下的多种识别信息，并从所述多种识别信息中提取多种识别特征，包括： 从所述多个时刻下的文本信息中，提取所述目标人物对应的目标文本信息，并确定所述目标文本信息的文本长度；所述多个时刻下的文本信息包括多个人物之间进行对话生成的文本信息，所述多个人物包括所述目标人物； 确定所述目标文本信息中，属于所述目标人物在当前时刻下的第一文本； 根据所述目标文本信息及其文本长度、所述第一文本，提取所述第一文本的第一文本特征。 3.如权利要求2所述的人物情绪识别方法，其特征在于，所述预设的时序模型包括预设的第一时序模型，所述将所述多种识别特征输入至预设的时序模型中，得到多种时序特征，包括： 获取在所述多个时刻下所述目标人物在所述当前时刻之前对应的多个第二文本，并提取所述多个第二文本的多个第二文本特征； 获取在所述多个时刻下非目标人物在所述当前时刻之前对应的多个第三文本，并提取所述多个第三文本的多个第三文本特征； 将所述第一文本特征、所述多个第二文本特征以及所述多个第三文本特征输入至预设的第一时序模型中，得到时序文本特征。 4.如权利要求3所述的人物情绪识别方法，其特征在于，所述融合特征包括第一融合特征、第二融合特征以及第三融合特征；所述多种时序特征还包括时序音频特征和时序图像特征，所述时序音频特征和所述时序图像特征由所述第一时序模型通过对当前时刻下的所述音频文件以及视频图像进行处理得到； 所述融合所述多种时序特征得到融合特征，包括： 融合所述时序文本特征和所述时序音频特征，得到第一融合特征，融合所述时序文本特征和所述时序图像特征，得到第二融合特征，融合所述时序音频特征和所述时序图像特征，得到第三融合特征。 5.如权利要求3所述的人物情绪识别方法，其特征在于，所述融合特征包括第一融合特征、第二融合特征以及第三融合特征；所述多种时序特征还包括时序音频特征和时序图像特征； 所述融合所述多种时序特征得到融合特征，包括： 获取所述时序文本特征对应的文本权重值，获取所述时序音频特征对应的音频权重值以及获取所述时序图像特征对应的图像权重值； 根据所述时序文本特征、所述文本权重值、所述时序音频特征以及所述音频权重值，计算所述第一融合特征的第一融合权重值，根据所述时序文本特征、所述文本权重值、所述时序图像特征以及所述图像权重值，计算所述第二融合特征的第二融合权重值，以及根据所述时序音频特征、所述音频权重值、所述时序图像特征以及所述图像权重值，计算所述第三融合特征的第三融合权重值； 基于所述第一融合权重值、所述时序文本特征、以及所述时序音频特征得到第一融合特征，基于所述第二融合权重值、所述时序文本特征、以及所述时序图像特征得到第二融合特征，以及基于所述第三融合权重值、所述时序音频特征、以及所述时序图像特征得到第三融合特征。 6.如权利要求4或5所述的人物情绪识别方法，其特征在于，所述预设的时序模型还包括预设的第二时序模型，所述根据所述融合特征识别所述当前时刻下目标人物的情绪，包括： 将所述当前时刻下的所述第一融合特征、所述第二融合特征以及所述第三融合特征，输入至第二时序模型中，获得目标融合特征； 根据所述目标融合特征识别所述当前时刻下的目标人物的情绪。 7.如权利要求6所述的人物情绪识别方法，其特征在于，在根据所述融合特征识别所述当前时刻下目标人物的情绪之后，还包括： 将所述当前时刻下目标人物的情绪识别结果上传至区块链中。 8.一种人物情绪识别装置，其特征在于，包括： 获取模块，用于获取多个时刻下的多种待识别信息，所述多种待识别信息包括文本信息、音频文件以及视频图像； 提取模块，用于从所述多个时刻下的多种待识别信息中，提取当前时刻下的多种识别信息，并从所述多种识别信息中提取多种识别特征； 输入模块，用于将所述多种识别特征输入至预设的时序模型中，得到多种时序特征； 识别模块，用于融合所述多种时序特征得到融合特征，并根据所述融合特征识别所述当前时刻下目标人物的情绪。 9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。 10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。