一种评测模型的方法和装置

摘要：

本发明公开了一种评测模型的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：确定各领域的资源的使用占比率；对于每一领域，获取与所述领域的资源的使用占比率对应的高频话术，将获取的各领域的话术组成测试集；利用所述测试集评测预训练的模型。该实施方式构造的测试集能够体现应用场景的特点，该测试集中的数据分布符合应用场景中实际处理的数据分布规律，通过该测试集对模型进行评测可以更准确的确定模型的准确率，从而对模型进行优化。

专利类型：发明专利

申请/专利号：CN201911273129.9

申请日期：2019-12-12

公开/公告号：CN113066479A

公开/公告日：2021-07-02

主分类号：G10L15/01(2013.01)

申请/专利权人:北京沃东天骏信息技术有限公司

发明/设计人:王哲

主申请人地址:100176 北京市北京经济技术开发区科创十一街18号院2号楼4层A402室

专利代理机构:中原信达知识产权代理有限责任公司

代理人:李阳%王志远

国别省市代码:北京;11

权利要求：

1.一种评测模型的方法，其特征在于，包括： 确定各领域的资源的使用占比率； 对于每一领域，获取与所述领域的资源的使用占比率对应的高频话术，将获取的各领域的话术组成测试集； 利用所述测试集评测预训练的模型。 2.根据权利要求1所述的方法，其特征在于，确定各领域的资源的使用占比率包括： 统计在预设时间段内各领域的话术量； 对于每一领域，将所述领域的话术量与所有领域的话术量之和的比值作为所述领域的使用占比率。 3.根据权利要求1所述的方法，其特征在于，利用所述测试集评测预训练的模型包括： 将所述测试集中的每条话术进行标注，以确定每条话术所属的领域、每条话术的目的以及每条话术的关键字； 将所述测试集中的每条话术输入预训练的模型，得到处理结果，所述处理结果包括所述预训练的模型预测的每条话术所属的领域、每条话术的目的以及每条话术的关键字； 对于每条话术，分别对比标注的领域和预测的领域、标注的目的和预测的目的、标注的关键字和预测的关键字； 根据对比结果，评测所述预训练的模型。 4.根据权利要求3所述的方法，其特征在于，所述对比结果包括：领域精准率、领域召回率、目的精准率、目的召回率、关键字精准率和关键字召回率； 根据对比结果，评测所述预训练的模型包括： 根据领域精准率和领域召回率，确定领域F1值；根据目的精准率和目的召回率，确定目的F1值；根据关键字精准率和关键字召回率，确定关键字F1值； 根据所述领域F1值、目的F1值和关键字F1值，评测所述预训练的模型。 5.一种评测模型的装置，其特征在于，包括： 占比确定模块，用于确定各领域的资源的使用占比率； 测试集生成模块，用于对于每一领域，获取与所述领域的资源的使用占比率对应的高频话术，将获取的各领域的话术组成测试集； 评测模块，用于利用所述测试集评测预训练的模型。 6.根据权利要求5所述的装置，其特征在于，所述占比确定模块还用于： 统计在预设时间段内各领域的话术量； 对于每一领域，将所述领域的话术量与所有领域的话术量之和的比值作为所述领域的使用占比率。 7.根据权利要求5所述的装置，其特征在于，所述评测模块还用于： 将所述测试集中的每条话术进行标注，以确定每条话术所属的领域、每条话术的目的以及每条话术的关键字； 将所述测试集中的每条话术输入预训练的模型，得到处理结果，所述处理结果包括所述预训练的模型预测的每条话术所属的领域、每条话术的目的以及每条话术的关键字； 对于每条话术，分别对比标注的领域和预测的领域、标注的目的和预测的目的、标注的关键字和预测的关键字； 根据对比结果，评测所述预训练的模型。 8.根据权利要求7所述的装置，其特征在于，所述对比结果包括：领域精准率、领域召回率、目的精准率、目的召回率、关键字精准率和关键字召回率； 所述评测模块还用于： 根据领域精准率和领域召回率，确定领域F1值；根据目的精准率和目的召回率，确定目的F1值；根据关键字精准率和关键字召回率，确定关键字F1值； 根据所述领域F1值、目的F1值和关键字F1值，评测所述预训练的模型。 9.一种电子设备，其特征在于，包括： 一个或多个处理器； 存储装置，用于存储一个或多个程序， 当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-4中任一所述的方法。 10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-4中任一所述的方法。