基于目标检测的图形用户界面控件识别方法

摘要：

传统机器人流程自动化(Robot Process Automation,RPA)主要使用操作系统和应用程序提供的接口获取图形用户界面(Graphical User Interface,GUI)控件,受操作系统和应用程序接口限制,但一些系统,如Linux,不提供获取控件信息的接口.提出一种基于神经网络对图形界面控件进行识别的方法,利用目标检测模型提取图形用户界面控件特征,在不使用操作系统接口的前提下识别图形用户界面内控件类别和几何信息,减少RPA对于系统与程序接口的依赖.同时,针对桌面端图形用户界面数据集缺失的问题,提出一种针对RPA领域桌面端图形用户界面目标检测数据集的生成方法.在该图形用户界面数据集上使用各类目标检测模型进行测试,结果显示,常用目标检测模型在识别用户界面控件的类别和几何信息时均能获得92％以上的准确率.

关键词：目标检测、机器人流程自动化、深度学习、图形用户界面自动生成、自动化测试

所属期刊栏目：58

分类号：TP311(计算技术、计算机技术)

资助基金：国家重点研发计划;湖南省高新技术产业科技创新引领计划科技攻关项目

在线出版日期：2023-05-09（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：1012-1019