面向深度学习模型的可靠性测试综述

摘要：

深度学习模型由于其出色的性能表现而在各个领域被广泛应用,但它们在面对不确定输入时,往往会出现意料之外的错误行为,在诸如自动驾驶系统等安全关键应用,可能会造成灾难性的后果.深度模型的可靠性问题引起了学术界和工业界的广泛关注.因此,在深度模型部署前迫切需要对模型进行系统性测试,通过生成测试样本,并由模型的输出得到测试报告,以评估模型的可靠性,提前发现潜在缺陷.一大批学者分别从不同测试目标出发,对模型进行测试,并且提出了一系列测试方法.目前对测试方法的综述工作只关注到模型的安全性,而忽略了其他测试目标,且缺少对最新出版的方法的介绍.因此,本文拟对模型任务性能、安全性、公平性和隐私性4个方面对现有测试技术展开全方位综述,对其进行全面梳理、分析和总结.具体而言,首先介绍了深度模型测试的相关概念;其次根据不同测试目标对 79 篇论文中的测试方法和指标进行分类介绍;然后总结了目前深度模型可靠性测试在自动驾驶、语音识别和自然语言处理三个工业场景的应用,并提供了可用于深度模型测试的 24 个数据集、7个在线模型库和常用工具包;最后结合面临的挑战和机遇,对深度模型可靠性测试的未来研究方向进行总结和展望,为构建系统、高效、可信的深度模型测试研究提供参考.值得一提的是,本文将涉及的数据集、模型、测试方法代码、评价指标等资料归纳整理在https://github.com/Allen-piexl/Testing-Zoo,方便研究人员下载使用.

关键词：深度学习模型、深度测试、可靠性、安全性、公平性、隐私性

所属期刊栏目：9

分类号：TP391(计算技术、计算机技术)

资助基金：信息系统安全技术重点实验室基金;国家重点研发计划;国家自然科学基金;浙江省重点研发计划项目

在线出版日期：2024-02-01（万方平台首次上网日期，不代表论文的发表时间）

页数：共23页

页码：33-55