(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211145565.X (22)申请日 2022.09.20 (71)申请人 上海弘玑信息技 术有限公司 地址 201240 上海市闵行区紫星路58 8号2 幢13层055室 (72)发明人 黄博　张泉　周元剑　周健　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 钟扬飞 (51)Int.Cl. G06F 16/583(2019.01) G06F 16/55(2019.01) G06V 10/44(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 图形界面的元素搜索方法及电子设备、 存储 介质 (57)摘要 本申请提供了一种图形界面的元素搜索方 法及电子设备、 存储介质， 该方法包括： 通过提取 元素图像的多个尺度的元素特征图和界面图像 的多个尺度的界面特征图， 可以适应不同分辨率 的变化， 在多个尺度的界面特征图中搜索多个尺 度的元素特征图， 相比直接在尺 寸较大的界面图 像中搜索元素图像， 大幅降低了计算量， 提高了 搜索效率。 该方案可以适用于不同设计方法的软 件， 快速定位软件界面中待操作的元素位置， 扩 大RPA技术的适用范围。 权利要求书2页 说明书8页 附图3页 CN 115455227 A 2022.12.09 CN 115455227 A 1.一种图形界面的元 素搜索方法， 其特 征在于， 包括： 接收元素图像和界面图像； 提取所述元素图像的多个尺度的元素特征图和所述界面图像的多个尺度的界面特征 图； 在所述多个尺度的界面特征图中搜索所述多个尺度的元素特征图， 确定所述元素特征 图在所述界面特 征图中的目标位置； 根据所述元素特征图在所述界面特征图中的目标位置， 映射得到所述元素图像在所述 界面图像中的元 素位置。 2.根据权利要求1所述的方法， 其特征在于， 所述提取所述元素图像的多个尺度的元素 特征图和所述界面图像的多个尺度的界面特 征图， 包括： 通过全卷积神经网络提取所述元素图像的多个尺度的元素特征图和所述界面图像的 多个尺度的界面特 征图。 3.根据权利要求1所述的方法， 其特征在于， 所述在所述多个尺度的界面特征图中搜索 所述多个尺度的元 素特征图， 确定所述元 素特征图在所述界面特 征图中的目标位置， 包括： 针对任一尺度的元素特征图和任一尺度的界面特征图， 若所述元素特征图的每个像素 的通道数与所述界面特征图的每个像素的通道数相同， 将所述元素特征图在所述界面特征 图上逐个像素滑动； 计算所述元素特征图滑动到不同像素时， 与所述界面特征图上的覆盖区域之间的相似 度； 找出所述相似度大于阈值时， 所述元 素特征图在所述界面特 征图上所处的目标位置 。 4.根据权利要求3所述的方法， 其特征在于， 若所述元素特征图的每个像素的通道数与 所述界面特征图的每个像素的通道数不相同， 在将所述元素特征图在所述界面特征图上逐 个像素滑动之前， 所述方法还 包括： 将所述元 素特征图与所述界面特 征图映射到相同的通道数。 5.根据权利要求3所述的方法， 其特征在于， 所述计算所述元素特征图滑动到不同像素 时， 与所述界面特 征图上的覆盖区域之间的相似度， 包括： 计算所述元素特征图滑动到不同像素时， 所述元素特征图内每个像素点与 所述覆盖区 域内相应 像素点之间的像素相似度； 根据所述元素特征图内每个像素点与所述覆盖区域内相应像素点之间的像素相似度， 计算所有像素点的像素相似度的平均值， 作为所述元素特征图与所述覆盖区域之 间的相似 度。 6.根据权利要求5所述的方法， 其特征在于， 所述计算所述元素特征图滑动到不同像素 时， 所述元 素特征图内每 个像素点与所述覆盖区域内相应 像素点之间的像素相似度， 包括： 在所述元素特征图滑动到不同像素时， 针对所述元素特征图内的每个像素点， 计算所 述像素点的每 个通道与所述覆盖区域内相应通道之间的像素差值； 根据所述像素点的每个通道与所述覆盖区域内相应通道之间的像素差值， 计算所有通 道的像素差值的平均值， 作为所述像素点与所述覆盖区域内相应像素点之间的像素相似 度。 7.根据权利要求3所述的方法， 其特征在于， 所述找出所述相似度大于阈值时， 所述元权　利　要　求　书 1/2 页 2 CN 115455227 A 2素特征图在所述界面特 征图上所处的目标位置， 包括： 找出所述相似度 大于阈值时， 所述元素特征图的中心点在所述界面特征图上所处 的目 标位置。 8.根据权利要求1所述的方法， 其特征在于， 所述根据所述元素特征图在所述界面特征 图中的目标位置， 映射得到所述元 素图像在所述界面图像中的元 素位置， 包括： 根据所述元素特征图在所述界面特征图中的目标位置， 以及所述界面特征图与所述界 面图像之间的缩放比例， 对所述 目标位置按照所述缩放比例进行还原， 得到所述元素图像 在所述界面图像中的元 素位置。 9.一种电子设备， 其特 征在于， 所述电子设备包括： 处理器； 用于存储处理器可执行指令的存 储器； 其中， 所述处理器被配置为执行权利要求1 ‑8任意一项所述的图形界面的元素搜索方 法。 10.一种计算机可读存储介质， 其特征在于， 所述存储介质存储有计算机程序， 所述计 算机程序可由处 理器执行以完成权利要求1 ‑8任意一项所述的图形界面的元 素搜索方法。权　利　要　求　书 2/2 页 3 CN 115455227 A 3