(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210979113.5 (22)申请日 2022.08.16 (71)申请人 武汉东智科技股份有限公司 地址 430000 湖北省武汉市武昌区和平大 道219号白云边大厦12 楼 (72)发明人 聂晖　陈黎　杨小波　李军　 (74)专利代理 机构 北京众达德权知识产权代理 有限公司 1 1570 专利代理师 代春茹 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 10/774(2022.01) G06N 20/00(2019.01) (54)发明名称 一种基于弱监督学习的图像花屏异常识别 方法 (57)摘要 本发明涉及计算机视觉和机器学习领域， 公 开了一种基于弱监督学习的图像花屏异常识别 方法， 包括步骤： 初始化花屏异常识别网络及花 屏特征生 成处理中的参数； 从视频数据中采样得 到第一图像集， 对第一图像集进行花屏特征生成 处理得到第二图像集与标签数据； 基于所述第一 图像集和第二图像集进行弱监督训练得到花屏 识别模型。 本发明使用数据仿真的方式， 降低了 用于监控视频花屏训练样本的获取难度， 为机器 学习的方法在花屏识别上的应用提供了极大的 便利条件； 使用弱监督的方式， 降低了模型对训 练数据量的要求， 同时保证模型识别的准确率， 以最优性价比方案解决监控视频图像花屏异常 识别的现实需求。 权利要求书2页 说明书5页 附图2页 CN 115359393 A 2022.11.18 CN 115359393 A 1.一种基于弱监 督学习的图像花屏异常识别方法， 其特 征在于， 包括以下步骤： S1、 初始化 花屏异常识别网络及花屏特 征生成处 理中的参数； S2、 从视频数据中采样得到第一图像集， 对第一图像集进行花屏特征生成处理得到第 二图像集与标签数据； S3、 基于所述第一图像集和第二图像集进行弱监 督训练得到花屏识别模型； 其中， 步骤S2具体包括： S21、 收集视频 数据， 随机 选择一定数量视频文件为待处 理视频数据； S22、 对待处理视频数据中的每个视 频文件以时间间隔tv进行图像采样得到对应的视频 图像集， 根据所 得的视频图像集构建得到第一图像集； S23、 根据花屏空域生成方法或花屏时域生成方法对第一图像集进行处理， 得到 中间花 屏图像； S24、 基于随机斑块 算法对中间花屏图像的花屏区域进行处 理， 得到第二图像集； S25、 基于数据特 征对所述第一图像集和第二图像集进行自动标注得到所述标签数据。 2.根据权利要求1所述的基于弱监督学习的图像花屏异常识别方法， 其特征在于， 所述 花屏空域 生成方法， 具体包括： 设待处理图像为 I， 其高为H， 对I进行花屏处 理： 其中I(x,y)表示原始非花屏图像坐标(x,y)处像素值， I*(x,y)表示处理得到的中间花 屏图像坐标(x,y)处的像素值， f1代表色块垂 直传递方法， f2代表色调区域压缩 方法， kh取值 在0到1之间。 3.根据权利要求2所述基于弱监督学习的图像花屏异常识别方法， 其特征在于， 所述色 块垂直传递方法， 具体为： f1(I(x,y),h)＝ I(h,y)。 4.根据权利要求2所述基于弱监督学习的图像花屏异常识别方法， 其特征在于， 所述的 色调区域压缩方法， 具体为： 其中， rxy、 gxy、 bxy表示I(x,y)的RGB三 通道值， p代 表压缩系数。 5.根据权利要求2所述的基于弱监督学习的图像花屏异常识别方法， 其特征在于， 所述 的花屏时域 生成， 具体包括： 获取非花屏图像I1、 I2， 其中， 图像I1和I2为所述视频图像集中相邻的图像； 对图像I1、 I2灰度化得到对应的灰度图像G1、 G2； 计算灰度图像之间的差值矩阵Δ； Δ＝|G2‑G1| 根据差值矩阵及设定的花屏区域阈值T， 获得花屏区域 蒙板M； 权　利　要　求　书 1/2 页 2 CN 115359393 A 2根据花屏蒙板 M和图像I2得到目标花屏图像I*： 所述花屏区域 为{(x,y)|M(x,y)＝1}。 6.根据权利要求1所述的基于弱监督学习的图像花屏异常识别方法， 其特征在于， 所述 随机斑块 算法具体步骤为： 设置斑块 大小P， 斑块 数量 其中H， W为 所述中间花屏图像的高和宽， m为稀疏 系数； 生成斑块矩阵序列： {Ai|Ai＝ONEP×P×3×ki,i∈{0,1, …Np}} 其中， ONEP×P×3为P×P×3的元素全为1的矩阵， ki为[‑10,10]范围内随机整数； 生成随机坐标序列， 坐标 数量为Np： 初始化斑块 蒙板Mp， 其中Mp初始为H×W×3的元素全为0的矩阵 以坐标序列中的坐标为斑块左上角在斑块蒙板 中的坐标， 将所述斑块序列加到斑块蒙 板中， 更新Mp。 7.根据权利要求6所述的基于弱监督学习的图像花屏异常识别方法， 其特征在于， 根据 随机斑块 算法处理所述中间花屏图片， 计算公式为： If＝I*+Mp 其中， If为所述最终花屏图像， I*为所述中间花屏图像。 8.根据权利要求1所述的基于弱监督学习的图像花屏异常识别方法， 其特征在于， 所述 步骤S3具体包括： S31、 基于所述第一图像集和所述第二图像集以及相应的标签数据， 构建训练数据集； S32、 将训练数据集送入花屏识别网络进行训练； 对所得花屏识别模型进行验证， 获取 验证指标； S33、 根据验证指标， 调整步骤S2所述 花屏生成处 理的可调节参数； S34、 根据步骤S2， 得到新的第一图像集和第二图像集； S35、 重复步骤S31至S34， 直至模型达 到要求指标。 9.根据权利要求8所述的基于弱监督学习的图像花屏异常识别方法， 其特征在于， 所述 调整可调节参数， 具体包括： 调整所述花屏空域生成方法中参数h的取值范围， 或者调整所述花屏时域生成方法中 图像采集的时间 间隔tv。权　利　要　求　书 2/2 页 3 CN 115359393 A 3