生成会议纪要的方法、装置、电子装置及存储介质
本发明涉及人工智能技术领域，提供一种生成会议纪要的方法，包括：获取会议中的语音信息；调用语音分离模型分离语音信息得到第一语音序列；调用聚类算法识别第一语音序列得到第一语音序列的起止点；根据所述第一语音序列的起止点识别所述语音信息得到多个第二语音序列的起止点，并根据所述多个第二语音序列的起止点得到多个第二语音序列；提取述第一语音序列和多个第二语音序列的音频特征，并根据音频特征确定发言者；及分别将所述第一语音序列和多个第二语音序列转换成文本信息，并将所述文本信息与所述发言者关联处理生成会议纪要。本发明还提供一种生成会议纪要的装置、电子装置及存储介质。通过本发明可以快速生成完整的会议纪要。
发明专利
CN202011594202.5
2020-12-29
CN112820292A
2021-05-18
G10L15/26(2006.01)
平安银行股份有限公司
夏斯勇
518000 广东省深圳市罗湖区深南东路5047号
深圳市赛恩倍吉知识产权代理有限公司
迟珊珊%杨毅玲
广东;44
1.一种生成会议纪要的方法，其特征在于，所述方法包括： 获取会议中的语音信息； 调用语音分离模型分离所述语音信息得到第一语音序列，其中，所述第一语音序列为所述会议中的第一个发言者的语音序列； 调用聚类算法识别所述第一语音序列得到所述第一语音序列的起止点； 根据所述第一语音序列的起止点识别所述语音信息得到多个第二语音序列的起止点，并根据所述多个第二语音序列的起止点得到多个第二语音序列； 提取所述第一语音序列和多个第二语音序列的音频特征，并根据所述音频特征确定发言者信息；及 分别将所述第一语音序列和多个第二语音序列转换成文本信息，并将所述文本信息与所述发言者信息关联处理生成会议纪要。 2.如权利要求1所述的生成会议纪要的方法，其特征在于，训练所述语音分离模型的方法包括： 获取多个人的多个音频数据，并提取所述音频数据的音频特征； 将所述音频特征输入至预设神经网络模型中进行训练得到矢量特征； 获取第一发言者的第一矢量特征及第二矢量特征，并根据预设第一相似度函数计算所述第一矢量特征与所述第二矢量特征之间的第一相似度； 获取第二发言者的第三矢量特征，并根据预设第二相似度函数计算所述第一矢量特征与所述第三矢量特征之间的第二相似度； 将所述第一相似度及所述第二相似度输入至预设损失函数中计算损失函数值，当损失函数值小于或等于预设损失函数阈值时，结束所述语音分离模型的训练过程，并更新所述语音分离模型中的参数。 3.如权利要求2所述的生成会议纪要的方法，其特征在于，所述预设第一相似度函数为：COS(xi,xj)＝xiTxj，其中，xi代表第一发言者的第一矢量特征，xj代表第一发言者的第二特征矢量，COS(xi,xj)为计算得到的第一相似度；所述预设第二相似度函数为：其中，xi代表第一发言者的第一矢量特征，yi代表第二发言者的第三矢量特征，Lp(xi,yi)为计算得到的第二相似度。 4.如权利要求2所述的生成会议纪要的方法，其特征在于，所述预设损失函数为：其中，α为正常数，Si13为所述第二相似度，Si12为所述第一相似度，L为计算出的损失函数值。 5.如权利要求1所述的生成会议纪要的方法，其特征在于，根据所述第一语音序列的起止点识别所述语音信息得到多个第二语音序列的起止点，并根据所述多个第二语音序列的起止点得到多个第二语音序列包括： 根据所述第一语音序列的起止点确定第一起始帧和第一终止帧； 提取所述第一起始帧的第一特征值和所述第一终止帧的第二特征值； 根据所述第一起始帧和所述第一终止帧建立滑动窗口； 将所述滑动窗口在所述语音信息中沿时间轴方向移动； 若确定所述第一特征值与所述语音信息的特征值相同时，固定所述第一起始帧在所述语音信息中的第一位置，继续滑动所述第一终止帧，直到所述第二特征值与所述语音信息的特征值相同，固定所述第一终止帧在所述语音信息中的第二位置；及 基于所述第一位置和所述第二位置确定所述第二语音的起止点，并根据所述第二语音的起止点截取所述语音信息得到第二语音序列。 6.如权利要求5所述的生成会议纪要的方法，其特征在于，根据所述第一语音序列的起止点识别所述语音信息得到多个第二语音序列的起止点，并根据所述多个第二语音序列的起止点得到多个第二语音序列还包括： 继续使用所述滑动窗口在所述语音信息中沿时间轴方向移动； 确定所述第一位置是否为所述语音信息的结尾； 若所述第一位置为所述语音信息的结尾，确认所述语音信息已分割完成；若所述第一位置不是所述语音信息的结尾，继续确定所述第一特征值与所述语音信息的特征值相同时，固定所述第一起始帧在所述语音信息中的第一位置； 继续滑动所述第一终止帧，直到所述第二特征值与所述语音信息的特征值相同，固定所述第一终止帧在所述语音信息中的第二位置； 基于所述第一位置和所述第二位置确定所述第二语音的起止点，并根据所述第二语音的起止点截取所述语音信息得到第二语音序列，直到截取完所述语音信息。 7.如权利要求1所述的生成会议纪要的方法，其特征在于，通过将所述第一语音序列和多个第二语音序列的音频特征与预存的发言者的音频特征进行比对，以确定所述第一语音序列和多个第二语音序列对应的发言者信息。 8.一种生成会议纪要的装置，其特征在于，所述装置包括： 获取模块，用于获取会议中的语音信息； 调用模块，用于调用语音分离模型分离所述语音信息得到第一语音序列，其中，所述第一语音序列为所述会议中的第一个发言者的语音序列； 所述调用模块，还用于调用聚类算法识别所述第一语音序列得到所述第一语音序列的起止点； 提取模块，用于根据所述第一语音序列的起止点识别所述语音信息得到多个第二语音序列的起止点，并根据所述多个第二语音序列的起止点得到多个第二语音序列； 所述提取模块，还用于提取所述第一语音序列和多个第二语音序列的音频特征，并根据所述音频特征确定发言者信息；及 生成模块，用于分别将所述第一语音序列和多个第二语音序列转换成文本信息，并将所述文本信息与所述发言者信息关联处理生成会议纪要。 9.一种电子装置，其特征在于，所述电子装置包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现如权利要求1至7中任意一项所述的生成会议纪要的方法。 10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的生成会议纪要的方法。