会议声音采集、会议记录以及会议记录呈现方法和装置
本公开提供了会议声音采集、会议记录以及会议记录呈现方法和装置。会议记录方法的一具体实施方式包括：接收会议声音采集终端发送的声音数据；对上述声音数据进行人声分离；生成分离后的每个分离声音数据对应的会议记录，其中，每个分离声音数据对应的会议记录包括该分离声音数据以及该分离声音数据对应的说话内容文本和说话人身份信息；将所生成的各会议记录发送给目标会议标识对应的会议记录呈现终端，其中，上述目标会议标识为发送上述声音数据的会议声音采集终端对应的当前会议标识，各上述会议记录用于触发收到各上述会议记录的会议记录呈现终端呈现各上述会议记录。该实施方式实现了对会议中多人同时讲话的会议内容分别记录。
发明专利
CN202010497438.0
2020-06-02
CN111739553A
2020-10-02
G10L21/0272(2013.01)
深圳市未艾智能有限公司
张铖
518000 广东省深圳市南山区西丽街道西丽社区新光路111号西丽工业区二十一栋306
北京植德律师事务所
唐华东
广东;44
1.一种会议声音采集方法，应用于设置有麦克风阵列的会议声音采集终端，所述会议声音采集方法包括： 实时获取所述麦克风阵列采集的声音数据； 将所述声音数据发送给会议记录服务器，所述声音数据用于触发所述会议记录服务器对所述声音数据进行人声分离，以及生成分离后的每个分离声音数据对应的、包括该分离声音数据以及该分离声音数据对应的说话内容文本和说话人身份信息的会议记录，并将所生成的各会议记录发送给所述会议声音采集终端对应的当前会议标识对应的各会议记录呈现终端，各所述会议记录用于触发收到各所述会议记录的会议记录呈现终端呈现各所述会议记录。 2.根据权利要求1所述的会议声音采集方法，其中，所述会议声音采集终端还设置有至少一个说话人方向指示灯；以及 所述会议声音采集方法还包括： 对所述声音数据进行到来角估计； 对于估计得到的每个到来角，按照预设的到来角与说话人方向指示灯标识之间的对应关系，确定与该到来角对应的说话人方向指示灯，以及将所确定的说话人方向指示灯打开第一预设时长。 3.根据权利要求1或2所述的会议声音采集方法，其中，所述将所述声音数据发送给会议记录服务器，包括： 将所述声音数据压缩后发送给所述会议记录服务器。 4.一种会议声音采集装置，应用于设置有麦克风阵列的会议声音采集终端，所述会议声音采集装置包括： 声音数据获取单元，被配置成实时获取所述麦克风阵列采集的声音数据； 声音数据发送单元，被配置成将所述声音数据发送给会议记录服务器，所述声音数据用于触发所述会议记录服务器对所述声音数据进行人声分离，以及生成分离后的每个分离声音数据对应的、包括该分离声音数据以及该分离声音数据对应的说话内容文本和说话人身份信息的会议记录，并将所生成的各会议记录发送给所述会议声音采集终端对应的当前会议标识对应的各会议记录呈现终端，各所述会议记录用于触发收到各所述会议记录的会议记录呈现终端呈现各所述会议记录。 5.一种会议记录方法，应用于会议记录服务器，所述会议记录方法包括： 接收会议声音采集终端发送的声音数据； 对所述声音数据进行人声分离； 生成分离后的每个分离声音数据对应的会议记录，其中，每个分离声音数据对应的会议记录包括该分离声音数据以及该分离声音数据对应的说话内容文本和说话人身份信息； 将所生成的各会议记录发送给目标会议标识对应的会议记录呈现终端，其中，所述目标会议标识为发送所述声音数据的会议声音采集终端对应的当前会议标识，各所述会议记录用于触发收到各所述会议记录的会议记录呈现终端呈现各所述会议记录。 6.根据权利要求5所述的会议记录方法，其中，所述对所述声音数据进行人声分离，包括： 对所收到的声音数据进行人声分离，生成预设数目个分离声音数据，其中，所生成的各分离声音数据分别与预设声源方向范围集合中各声源方向范围一一对应，所述预设声源方向范围集合中各声源方向范围互不重叠。 7.根据权利要求5或6所述的会议记录方法，其中，所述生成分离后的每个分离声音数据对应的会议记录，包括： 对于所生成的每个分离声音数据，响应于确定该分离声音数据中存在有效语音，执行以下会议记录生成操作：分别对该分离声音数据进行语音识别和声纹识别，得到识别文本和说话人身份信息；响应于确定该分离声音数据为语音起点，新建与所述目标会议标识和所得到的说话人身份信息对应的当前语音和当前说话文本；将所得到的识别文本拼接到与所述目标会议标识和所得到的说话人身份信息对应的当前说话文本的尾部，以及将该分离声音数据拼接到与所述目标会议标识和所得到的说话人身份信息对应的当前语音的尾部；用与所述目标会议标识和所得到的说话人身份信息对应的当前语音和当前说话文本以及所确定的说话人身份信息生成与该分离声音数据对应的会议记录。 8.根据权利要求7所述的会议记录方法，其中，所述会议记录生成操作还包括： 响应于确定该分离声音数据为语音尾点，用与所述目标会议标识和所得到的说话人身份信息对应的当前语音和当前说话文本以及所确定的说话人身份信息生成历史会议记录，以及将所生成的历史会议记录存储为与所述目标会议标识对应的历史会议记录。 9.根据权利要求8所述的会议记录方法，其中，所述会议记录方法还包括： 响应于接收到会议记录呈现终端发送的说话内容文本更新请求，其中，所述说话内容文本更新请求是所述会议记录呈现终端响应于检测到针对所呈现的历史会议记录中说话内容文本的修改操作而向所述会议记录服务器发送的，所述说话内容文本更新请求包括所述修改操作对应的修改后的说话内容文本以及所述修改操作所针对的历史会议记录的会议记录标识，将所述说话内容文本更新请求中的会议记录标识对应的历史会议记录中的说话内容文本更新为所述说话内容文本更新请求中的说话内容文本。 10.根据权利要求9所述的会议记录方法，其中，所述对该分离声音数据进行语音识别，包括：基于语音识别模型对该分离声音数据进行语音识别；以及 所述会议记录方法还包括： 响应于确定满足预设语音识别模型更新条件，基于所存储的历史会议记录中修改过说话内容文本的历史会议记录中的声音数据和对应的说话内容文本更新所述语音识别模型。 11.根据权利要求10所述的会议记录方法，其中，所述会议记录生成操作还包括： 响应于确定该分离声音数据为语音起点，将当前时间确定为与所述目标会议标识和所得到的说话人身份信息对应的说话起始时间。 12.根据权利要求11所述的会议记录方法，其中，所述用与所述目标会议标识和所得到的说话人身份信息对应的当前语音和当前说话文本以及所确定的说话人身份信息生成与该分离声音数据对应的会议记录，包括： 用与所述目标会议标识和所得到的说话人身份信息对应的说话起始时间、当前语音和当前说话文本以及所确定的说话人身份信息生成与该分离声音数据对应的会议记录；和/或 所述用与所述目标会议标识和所得到的说话人身份信息对应的当前语音和当前说话文本以及所确定的说话人身份信息生成历史会议记录，以及将所生成的历史会议记录存储为与所述目标会议标识对应的历史会议记录，包括： 用与所述目标会议标识和所得到的说话人身份信息对应的说话起始时间、当前语音和当前说话文本以及所确定的说话人身份信息生成历史会议记录，以及将所生成的历史会议记录存储为与所述目标会议标识对应的历史会议记录。 13.根据权利要求12所述的会议记录方法，其中，所述分别对该分离声音数据进行语音识别和声纹识别，得到识别文本和说话人身份信息，包括： 分别将该分离声音数据发送给语音识别服务器和声纹识别服务器，其中，该分离声音数据用于触发所述语音识别服务器对收到的声音数据进行语音识别并返回识别结果，以及用于触发所述声纹识别服务器对收到的声音数据进行声纹识别并返回识别结果； 分别将从所述语音识别服务器收到的识别结果和从所述声纹识别服务器收到的识别结果确定为对该分离声音数据进行语音识别和声纹识别所得到的识别文本和说话人身份信息。 14.根据权利要求7-13中任一项所述的会议记录方法，其中，所述会议记录方法还包括： 响应于接收到会议记录呈现终端发送的包括待查阅会议标识和查阅人标识的会议记录查阅请求，确定所述查阅人标识是否属于所述待查阅会议标识对应的参会人员标识集合； 响应于确定属于，获取与所述待查阅会议标识对应的历史会议记录，以及将所获取的历史会议记录发送给发送所述会议记录查阅请求的会议记录呈现终端。 15.根据权利要求7-13中任一所述的会议记录方法，其中，所述会议记录方法还包括： 响应于接收到会议记录呈现终端发送的包括参会人员标识集合的会议预定请求，生成会议标识，将所述会议预定请求中的参会人员标识集合存储为与所生成的会议标识对应的参会人员标识集合，以及将所生成的会议标识返回发送所述会议预定请求的会议记录呈现终端。 16.一种会议记录装置，应用于会议记录服务器，所述会议记录装置包括： 声音数据接收单元，被配置成接收会议声音采集终端发送的声音数据； 人声分离单元，被配置成对所述声音数据进行人声分离； 会议记录生成单元，被配置成生成分离后的每个分离声音数据对应的会议记录，其中，每个分离声音数据对应的会议记录包括该分离声音数据以及该分离声音数据对应的说话内容文本和说话人身份信息； 会议记录发送单元，被配置成将所生成的各会议记录发送给目标会议标识对应的会议记录呈现终端，其中，所述目标会议标识为发送所述声音数据的会议声音采集终端对应的当前会议标识，各所述会议记录用于触发收到各所述会议记录的会议记录呈现终端呈现各所述会议记录。 17.一种会议记录呈现方法，应用于会议记录呈现终端，所述会议记录呈现方法包括： 响应于接收到会议记录服务器发送的会议记录，呈现所收到的会议记录，其中，所收到的会议记录为所述会议记录服务器对从会议声音采集终端收到的声音数据进行人声分离后，针对分离后的每个分离声音数据所生成的对应的会议记录，每个分离声音数据对应的会议记录包括该分离声音数据以及该分离声音数据对应的说话内容文本和说话人身份信息。 18.根据权利要求17所述的会议记录呈现方法，其中，所述会议记录呈现方法还包括： 响应于检测到用户输入的包括待查阅会议标识和查阅人标识的会议记录查阅请求，向会议记录服务器发送所述会议记录查阅请求，其中，所述会议记录查阅请求用于触发所述会议记录服务器响应于确定所述查阅人标识属于所述待查阅会议标识对应的参会人员标识集合，获取与所述待查阅会议标识对应的历史会议记录，以及将所获取的历史会议记录发送给发送所述会议记录查阅请求的会议记录呈现终端； 响应于接收到所述会议记录服务器响应于所述会议记录查阅请求而发送的历史会议记录，呈现所收到的历史会议记录。 19.根据权利要求18所述的会议记录呈现方法，其中，所述会议记录呈现方法还包括： 响应于检测到针对所呈现的历史会议记录中说话内容文本的修改操作，向所述会议记录服务器发送说话内容文本更新请求，其中，所述说话内容文本更新请求包括所述修改操作对应的修改后的说话内容文本以及所述修改操作所针对的历史会议记录的会议记录标识，所述说话内容文本更新请求用于触发所述会议记录服务器将所述说话内容文本更新请求中的会议记录标识对应的历史会议记录中的说话内容文本更新为所述说话内容文本更新请求中的说话内容文本。 20.根据权利要求17-19中任一所述的会议记录呈现方法，其中，所述呈现所收到的会议记录，包括： 对应呈现以下至少一项：所收到的会议记录中的说话内容文本、说话人身份信息和与所收到的会议记录中的分离后声音数据关联的声音播放图标； 响应于检测到针对所显示的声音播放图标的预设操作，播放所检测到的预设操作所针对的声音播放图标所关联的分离后声音数据。 21.根据权利要求20所述的会议记录呈现方法，其中，所述播放所检测到的预设操作所针对的声音播放图标所关联的分离后声音数据，包括： 播放所检测到的预设操作所针对的声音播放图标所关联的分离后声音数据，以及在播放过程中显示与所述播放过程对应的播放进度指示信息。 22.根据权利要求21所述的会议记录呈现方法，其中，会议记录还包括说话起始时间；以及 所述对应呈现以下至少一项：所收到的会议记录中的说话内容文本、说话人身份信息和与所收到的会议记录中的分离后声音数据关联的声音播放图标，包括： 对应呈现以下至少一项：所收到的会议记录中的说话起始时间、说话内容文本、说话人身份信息和与所收到的会议记录中的分离后声音数据关联的声音播放图标。 23.根据权利要求22所述的会议记录呈现方法，其中，所述会议记录呈现方法还包括： 响应于检测到用户输入的包括参会人员标识集合的会议预定请求，将所述会议预定请求发送给所述会议记录服务器，其中，所述会议预定请求用于触发所述会议记录服务器生成会议标识，将所述会议预定请求中的参会人员标识集合存储为与所生成的会议标识对应的参会人员标识集合，以及将所生成的会议标识返回发送所述会议预定请求的会议记录呈现终端。 24.一种会议记录呈现装置，应用于会议记录呈现终端，所述会议记录呈现装置包括： 会议记录呈现单元，被配置成响应于接收到会议记录服务器发送的会议记录，呈现所收到的会议记录，其中，所收到的会议记录为所述会议记录服务器对从会议声音采集终端收到的声音数据进行人声分离后，针对分离后的每个分离声音数据所生成的对应的会议记录，每个分离声音数据对应的会议记录包括该分离声音数据以及该分离声音数据对应的说话内容文本和说话人身份信息。 25.一种会议声音采集终端，包括： 麦克风阵列，用于采集声音数据； 一个或多个处理器； 存储装置，其上存储有一个或多个程序， 当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-3中任一所述的方法。 26.一种会议记录服务器，包括： 一个或多个处理器； 存储装置，其上存储有一个或多个程序； 当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求5-15中任一所述的方法。 27.一种会议记录呈现终端，包括： 一个或多个处理器； 存储装置，其上存储有一个或多个程序； 当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求17-23中任一所述的方法。 28.一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被一个或多个处理器执行时实现如权利要求1-3中任一所述的会议声音采集方法，或者如权利要求5-15中任一所述的会议记录方法，或者如权利要求17-23中任一所述的会议记录呈现方法。 29.一种会议记录系统，包括如权利要求27所述的会议记录服务器、至少一个如权利要求25所述的会议声音采集终端以及至少一个如权利要求27所述的会议记录呈现终端。 30.根据权利要求29所述的会议记录系统，其中，所述会议记录系统还包括语音识别服务器和声纹识别服务器，其中，所述语音识别服务器被配置成对从所述会议记录服务器收到的分离声音数据进行语音识别并将识别所得到的说话内容文本发送给所述会议记录服务器，所述声纹识别服务器被配置成对从所述会议记录服务器收到的分离声音数据进行声纹识别并将识别所得到的说话人身份信息发送给所述会议记录服务器。