(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210968789.4 (22)申请日 2022.08.12 (71)申请人 厦门市美亚柏科信息股份有限公司 地址 361000 福建省厦门市思明区软件园 二期观日路12号102-402单 元 (72)发明人 高志鹏　吴俊毅　赵建强　张辉极　 杜新胜　 (74)专利代理 机构 厦门福贝知识产权代理事务 所(普通合伙) 35235 专利代理师 郭涵炜 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/80(2022.01) (54)发明名称 一种针对人群活动性质判别的数据增强方 法和系统 (57)摘要 本发明给出了一种针对人群活动性质判别 的数据增强方法和系统， 包括准备人群活动训练 数据集、 人群活动性质判别的预训练模型， 用以 生成热力图； 从所述人群活动训练数据集中随机 提取一个数据对， 使用像素级线性混合增强策 略， 利用线性组合混合图像与标签； 使用区域级 仿射拼接增强策略， 通过剪切粘贴操作拼接图 像， 根据面积比混合标签； 通过强化类梯度激活 可视化策略， 提取输出类激活热图， 执行图像二 次混合增强与标签融合， 形成以二次混合图像增 强数据集， 用以扩充原数据集。 本申请有效、 针对 性地实现相关样本库扩充， 其扩充流程与结果都 可对人群活动性质判别算法产生明显积极影响。 权利要求书2页 说明书7页 附图3页 CN 115294529 A 2022.11.04 CN 115294529 A 1.一种针对人群活动性质判别的数据增强方法， 其特 征在于， 包括： S1： 准备人群活动训练数据集、 人群活动性质判别的预训练模型， 用以生成热力图； S2： 从所述人群活动训练数据集中随机提取一个数据对， 使用像素级线性混合增强策 略， 利用线性组合混合图像与标签； S3： 使用区域级仿射拼接增强策略， 通过剪切粘贴操作拼接图像， 根据面积比混合标 签； S4： 通过强化类梯度激活可视化策略， 提取输出类激活热图， 执行图像二次混合增强与 标签融合， 形成以二次混合图像增强数据集， 用以扩充原数据集。 2.根据权利要求1所述的针对人群活动 性质判别的数据增强方法， 其特征在于， 所述预 训练模型包括x ception或Senet， 所述人群活动训练数据集定义为{(Ii， Yi)|i＝0， 1， ....N ‑ 1}， 其中， Ii∈R3×W×H为标准RGB图像， Yi为图像标签。 3.根据权利要求2所述的针对人群活动性质判别的数据增强方法， 其特征在于， 所述S2 具体为： 从所述人群活动训练数据集中随机提取一个数据对{(I1， Y1)， (I2， Y2)}， 设定两个 参数b1、 b2从一个贝塔分布Beta(b1， b2)中提取两对比例参 数(γ1， γ2)， (γ3， γ4)； 利用线性 组合混合图像和标签： IM1＝γ1×Ts(I1)+(1‑γ1)×Ts(I2)； Ua＝γ1， Ub＝1‑γ1； YM1＝Ua×Y1+ Ub×Y2； 其中IM1为混合后的图像， YM1为相应的混合标签， Ts为满足融合形态尺度要求的随机 同类型数据增强函数。 4.根据权利要求3所述的针对人群活动性质判别的数据增强方法， 其特征在于， 所述S3 具体表示为： Qa＝1‑γ2， Qb＝γ2； YM2＝Qa×Y1+Qb× Y2； 其中IM2为拼接后的图像， YM2为相应的混合标签， Ts为满足融合形态尺度要求随机同类型 数据增强函数。 5.根据权利要求4所述的针对人群活动性质判别的数据增强方法， 其特征在于， 所述S4 中通过强化类梯度激活可视化策略 ， 提取输出类激活热图具体表示为 ： 其中 表示为第C个类别求取的类激活热 图， i， j表示像素坐标， 为激活注意力掩码， 为自适应系数， 为第k个特征图谱， 对 Lc进行上采样， 使其尺寸与输入图像一致， 获得 对 进行语义图映射， 使其个像素总和 为1。 6.根据权利要求5所述的针对人群活动性质判别的数据增强方法， 其特征在于， 所述S4 中图像二次混合增强具体为： 其中 和 是 两个二进制 掩模， 包含面积比为γ3的随机框区域和面积比为γ4的随机框区域， TRθ为转换 函数， 将IM2的最终裁剪区域转换为匹配IM1的框区域； 标签融合方法为： YMix＝Ca×YM1+Cb× YM2， 其中， Ca， Cb为二次混合标签的语义权 重。 7.根据权利要求1所述的针对人群活动性质判别的数据增强方法， 其特征在于， 所述S4 中扩充原数据集的扩充比例为以所述像素级线性混合增强策略生成35％的数据， 以所述区 域级仿射 拼接增强策略生成3 5％的数据， 以所述图像二次混合 生成30％的数据。 8.一种计算机可读存储介质， 其上存储有一或多个计算机程序， 其特征在于， 该一或多权　利　要　求　书 1/2 页 2 CN 115294529 A 2个计算机程序被 计算机处 理器执行时实施权利要求1至7中任一项所述的方法。 9.一种针对人群活动性质判别的数据增强系统， 其特 征在于， 所述系统包括： 准备单元： 配置用于准备人群活动训练数据集、 人群活动性质判别的预训练模型， 用以 生成热力图； 像素级线性混合增强单元： 配置用于从所述人群活动训练数据集中随机提取一个数据 对， 使用像素级 线性混合增强策略， 利用线性组合混合图像与标签； 区域级仿射拼接增强单元： 配置用于使用区域级仿射拼接增强策略， 通过剪切粘贴操 作拼接图像， 根据面积比混合标签； 数据集扩充单元： 配置用于通过强化类梯度激活可视化策略， 提取输出类激活热图， 执 行图像二次混合增强与标签融合， 形成以二次混合图像增强数据集， 用以扩充原数据集。 10.根据权利要求9所述的针对人群活动性质判别的数据增强系统， 其特征在于， 所述 预训练模型包括xception或Senet， 所述人群活动训练数据集定义为{(Ii， Yi)|i＝0， 1， ....N‑1}， 其中， Ii∈R3×W×H为标准RGB图像， Yi为图像标签。 11.根据权利要求10所述的针对人群活动 性质判别的数据增强系统， 其特征在于， 所述 像素级线性混合增强单元具体配置用于： 从所述人群活动训练数据集中随机提取一个数据 对{(I1， Y1)， (I2， Y2)}， 设定两个参 数b1、 b2从一个贝塔分布Beta(b1， b2)中提取两对比例参数 (γ1， γ2)， (γ3， γ4)； 利用线性组合混合图像和标签： IM1＝γ1×Ts(I1)+(1‑γ1)×Ts(I2)； Ua＝γ1， Ub＝1‑γ1； YM1＝Ua×Y1+Ub×Y2； 其中IM1为混合后的图像， YM1为相应的混合标签， Ts 为满足融合形态 尺度要求的随机同类型 数据增强函数。 12.根据权利要求11所述的针对人群活动 性质判别的数据增强系统， 其特征在于， 所述 区域级仿射拼接增强单元具体表示为： Qa＝1‑γ2， Qb ＝γ2； YM2＝Qa×Y1+Qb×Y2； 其中IM2为拼接后的图像， YM2为相应的混合标签， Ts为满足融合形 态尺度要求随机同类型 数据增强函数。 13.根据权利要求12所述的针对人群活动 性质判别的数据增强系统， 其特征在于， 所述 数据集扩充单元具体配置用于： 通过强化类梯度激活可视化策略， 提取输出类激活热图具 体表示为： 其中 表示为第C个类别 求取的类激活热图， i， j表示像素坐标， 为激活注意力掩码， 为自适应系数， 为第k 个特征图谱， 对Lc进行上采样， 使其尺 寸与输入图像一致， 获得 对 进行语义图映射， 使 其个像素总和为1； 图像二次混合增强具体为： 其 中 和 是两个二进制掩模， 包含面积比为γ3的随机框区域和面积比为γ4的随机框区 域， TRθ为转换函数， 将IM2的最终裁剪区域转换为匹配IM1的框区域； 标签融合方法为： YMix＝ Ca×YM1+Cb×YM2， 其中， Ca， Cb为二次混合标签的语义权 重。 14.根据权利要求9所述的针对人群活动性质判别的数据增强系统， 其特征在于， 所述 扩充原数据集的扩充比例为以所述像素级线性混合增强策略生成35％的数据， 以所述区域 级仿射拼接增强策略生成3 5％的数据， 以所述图像二次混合 生成30％的数据。权　利　要　求　书 2/2 页 3 CN 115294529 A 3