基于人工智能的事件评估报告生成
本公开内容提供了一种用于生成针对事件的评估报告的方法。可以接收与所述事件对应的多媒体流，其中多媒体流包括与事件的一个或多个参与者中的第一参与者相关的视频流。可以从视频流中检测第一参与者的面部图像序列以及身体图像序列。可以从面部图像序列中识别情绪序列以及从身体图像序列中识别动作序列。根据情绪序列和动作序列中的至少一个，可以通过与事件的类别相关联的至少一个参与者评估模型来评估第一参与者在事件中的表现。可以至少根据所述表现来生成与所述第一参与者相关的报告。
发明专利
CN201910317933.6
2019-04-19
CN111833861A
2020-10-27
G10L15/22(2006.01)
微软技术许可有限责任公司
李烨;郑师宜;陈阳
美国华盛顿州
永新专利商标代理有限公司
张扬%王英
美国;US
1.一种用于生成针对事件的评估报告的方法，包括： 接收与所述事件对应的多媒体流，所述多媒体流包括与所述事件的一个或多个参与者中的第一参与者相关的视频流； 从所述视频流中检测所述第一参与者的面部图像序列以及身体图像序列； 从所述面部图像序列中识别情绪序列以及从所述身体图像序列中识别动作序列； 根据所述情绪序列和所述动作序列中的至少一个，通过与所述事件的类别相关联的至少一个参与者评估模型来评估所述第一参与者在所述事件中的表现；以及 至少根据所述表现生成与所述第一参与者相关的报告。 2.如权利要求1所述的方法，其中，所述表现包括以下中的至少一个： 根据所述情绪序列和所述动作序列生成的所述第一参与者的精神状态； 根据所述动作序列和所述事件的类别生成的所述第一参与者的行为表示； 根据所述情绪序列生成的所述第一参与者的情绪变化；以及 所述第一参与者与所述一个或多个参与者中的至少一个其他参与者的交互。 3.如权利要求1所述的方法，其中，识别所述动作序列包括： 根据所述事件的类别，对所述动作序列中的每个动作附加以下标记中的一个：正向、负向和中性。 4.如权利要求1所述的方法，其中，识别所述动作序列包括： 根据所述事件的类别，对所述动作序列中的每个动作附加以下标记中的一个：恶意和非恶意。 5.如权利要求4所述的方法，其中，生成所述报告进一步包括： 在所述报告中标示是否存在标记为恶意的动作；和/或 将所述标记为恶意的动作呈现在所述报告中。 6.如权利要求1所述的方法，其中，所述多媒体流还包括与所述一个或多个参与者中的第二参与者相关的音频流，并且所述方法还包括： 通过对所述音频流进行语音识别，生成与所述音频流对应的文本； 通过与所述事件的类别相关联的事件评估模型，至少根据所述文本来评估所述事件；以及 生成包括对所述事件的评估的结果的附加报告。 7.如权利要求6所述的方法，其中，所述第二参与者与所述第一参与者相同或不同。 8.如权利要求6所述的方法，其中，所述事件是通过所述事件评估模型进一步根据以下中的至少一个来评估的： 根据所述文本生成的所述第二参与者的语速； 从所述文本中提取的关键内容； 通过对所述文本执行情感分析所生成的文本情感；以及 从所述文本中检测到的不适当词语。 9.如权利要求8所述的方法，其中，所述事件是通过所述事件评估模型进一步根据在所述关键内容与关联于所述事件的预设内容列表之间的匹配度来评估的。 10.如权利要求8所述的方法，其中，所述不适当词语是根据与所述事件的类别有关的预设黑名单从所述文本中检测的。 11.如权利要求6所述的方法，其中，所述事件是通过所述事件评估模型进一步根据所述第一参与者的表现来评估的。 12.如权利要求6所述的方法，其中，所述附加报告包括以下中的至少一项： 从所述文本中提取的关键内容；以及 在所述第二参与者与所述第一参与者不同的情况下，根据所述情绪序列生成的所述第一参与者的情绪变化与根据所述文本生成的文本情感之间的相关性。 13.如权利要求1所述的方法，其中，所述事件包括涉及所述第一参与者的多个事件，并且生成所述报告进一步包括： 获得所述第一参与者在所述多个事件中的多个表现；以及 至少根据所述多个表现的组合来生成所述报告。 14.一种用于生成针对事件的评估报告的装置，包括： 接收模块，用于接收与所述事件对应的多媒体流，所述多媒体流包括与所述事件的一个或多个参与者中的第一参与者相关的视频流； 检测模块，用于从所述视频流中检测所述第一参与者的面部图像序列以及身体图像序列； 识别模块，用于从所述面部图像序列中识别情绪序列以及从所述身体图像序列中识别动作序列； 评估模块，用于根据所述情绪序列和所述动作序列中的至少一个，通过与所述事件的类别相关联的至少一个参与者评估模型来评估所述第一参与者在所述事件中的表现；以及 生成模块，用于至少根据所述表现生成与所述第一参与者相关的报告。 15.如权利要求14所述的装置，其中，所述表现包括以下中的至少一个： 根据所述情绪序列和所述动作序列生成的所述第一参与者的精神状态； 根据所述动作序列和所述事件的类别生成的所述第一参与者的行为表示； 根据所述情绪序列生成的所述第一参与者的情绪变化；以及 所述第一参与者与所述一个或多个参与者中的至少一个其他参与者的交互。 16.如权利要求14所述的装置，其中，所述多媒体流还包括与所述一个或多个参与者中的第二参与者相关的音频流，并且所述装置还包括： 文本生成模块，用于通过对所述音频流进行语音识别，生成与所述音频流对应的文本；以及 事件评估模块，用于通过与所述事件的类别相关联的事件评估模型，至少根据所述文本来评估所述事件； 其中，所述生成模块还用于生成包括对所述事件的评估的结果的附加报告。 17.如权利要求16所述的装置，其中，所述事件评估模块通过所述事件评估模型进一步根据以下中的至少一个来评估所述事件： 根据所述文本生成的所述第二参与者的语速； 从所述文本中提取的关键内容； 通过对所述文本执行情感分析所生成的文本情感；以及 从所述文本中检测到的不适当词语。 18.根据权利要求16所述的装置，其中，所述附加报告包括以下中的至少一项： 从所述文本中提取的关键内容；以及 在所述第二参与者与所述第一参与者不同的情况下，根据所述情绪序列生成的所述第一参与者的情绪变化与根据所述文本生成的文本情感之间的相关性。 19.根据权利要求14所述的装置，其中，所述事件包括涉及所述第一参与者的多个事件，并且生成所述报告进一步包括： 获得所述第一参与者在所述多个事件中的多个表现；以及 至少根据所述多个表现的组合来生成所述报告。 20.一种用于生成针对事件的评估报告的装置，包括： 一个或多个处理器；以及 存储计算机可执行指令的存储器，当所述计算机可执行指令被执行时，使得所述一个或多个处理器执行以下操作： 接收与所述事件对应的多媒体流，所述多媒体流包括与所述事件的一个或多个参与者中的第一参与者相关的视频流； 从所述视频流中检测所述第一参与者的面部图像序列以及身体图像序列； 从所述面部图像序列中识别情绪序列以及从所述身体图像序列中识别动作序列； 根据所述情绪序列和所述动作序列中的至少一个，通过与所述事件的类别相关联的至少一个参与者评估模型来评估所述第一参与者在所述事件中的表现；以及 至少根据所述表现生成与所述第一参与者相关的报告。