(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211149915.X (22)申请日 2022.09.21 (71)申请人 四川大学 地址 610065 四川省成 都市武侯区一环路 南一段24号 (72)发明人 梁刚　许春　陈诚　杨进　曾军皓　 陈良银　陈俊任　 (74)专利代理 机构 成都其高专利代理事务所 (特殊普通 合伙) 5124 4 专利代理师 贾波　贺立中 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于关键帧的改进色情视频检测方法 及系统 (57)摘要 本发明公开了一种基于关键帧的改进色情 视频检测方法及系统， 采用色情 视频检测系统将 视频流转换为视频帧集合后， 利用关键帧抽取模 块采用取图像熵极值的方法得到候选关键帧集 合， 然后对候选关键帧集合中的关键视频帧图像 采用局部帧差分的关键帧提取方法得到关键视 频帧集合； 通过图像预处理模块对抽到的每一张 关键视频帧进行图像预处理操作； 通过局部敏 感 特征检测模块对经过预处理后的关键视频帧图 像进行局部特征提取； 通过全局特征抽取模块， 对经过预处理后的关键视频帧图像进行全局特 征提取； 利用特征融合模块将提取得到的局部特 征和全局特征通过特定的加权计算得到最终的 检测结果， 以确定 视频流是否为色情视频。 权利要求书3页 说明书12页 附图2页 CN 115546683 A 2022.12.30 CN 115546683 A 1.一种基于关键帧的改进色情视频检测方法， 其特 征在于： 包括下述 步骤： 1)将视频流转换为视频帧集合后， 利用关键帧抽取模块采用取图像熵极值的方法得到 候选关键帧集 合； 2)利用关键帧抽取模块对候选关键帧集合中的关键视频帧图像采用局部帧差分的关 键帧提取 方法得到关键 视频帧集 合； 3)通过图像预处理模块对抽到的每一张关键视频帧进行包括图像数据增强、 光线增 强、 自适应尺寸在内的图像预处 理操作； 4)通过局部敏感特征检测模块对经过预处理后的关键视频帧图像使用YOLOv5技术进 行局部特 征提取； 5)通过全局特征抽取模块， 对经过预处理后的关键视频帧图像采用MobileNet3神经网 络模型进行全局特 征提取； 6)利用特征融合模块将提取得到的局部特征和全局特征通过特定的加权计算得到最 终的检测结果， 以此判断该关键视频帧是否存在色情信息， 从而确定视频流是否为色情视 频。 2.根据权利要求1所述的一种基于关键帧的改进色情视频检测方法， 其特征在于： 图像 熵的值采用下述公式计算得到： E(fi)＝‑∑jpfi(j)logpfi(j)， 其中pfi(j)表示为第fi个帧 的概率密度函数， 该值通过归一化计算其强度直方图得到； 将计算到的图像熵的值E(fi)映 射至以关键视频帧序列编号为x轴的坐标轴中， 最后取分段内图像熵为极值或前后变化差 异较大的图像作为该 段中的关键 视频帧图像， 形成候选关键帧集 合。 3.根据权利要求1或2所述的一种基于关键帧的改进色情视频检测方法， 其特征在于： 所述步骤2)包括下述具体步骤： 2.1)将两个相邻的关键 视频帧图像分割为26 *26的网格； 2.2)按照前后对应的网格位置采用局部帧差分计算， 并将得到的帧差分值网格取绝对 值并相加一元化处 理作为相邻帧之间的局部帧差分值； 2.3)通过选取出所有网格 中值最大的局部帧差分值作为该相邻帧的差异值， 并通过判 断该值是否超过 预先设定的阈值， 若超过则执 行步骤2.4)， 若未超过则执 行2.5)； 2.4)将前一帧保存至关键视频帧集合， 将当前帧作为前一帧接着与下一帧进行局部帧 差分计算； 2.5)舍弃前一帧， 将当前帧与下一帧继续进行局部帧差分计算， 直至计算至视频流最 后一帧并得到最终的关键 视频帧集 合。 4.根据权利要求1或2所述的一种基于关键帧的改进色情视频检测方法， 其特征在于： 所述步骤3)具体为： 图像增强： 采用Mosaic数据增强方法将候选关键帧集合中作为训练集部分中的四张图 像进行随机翻转、 随机剪裁与随机排列操作， 将完成随机操作的四张图像进行拼接得到新 的图片； 光线增强： 将图像通过公式LE((x)； α )＝I(x)+αI(x)(1 ‑I(x))进行图像的光线增强处 理， 其中， x为输入图像的像素坐标， I(x)为输入图像， LE((x)； α )为原图像增强后的输出， 参 数α ∈[‑1,1]， 用于调整图像与控制曝光效果； 图像自适应尺寸： 采用LetterBox对输入的图像进行标准化处理， 将输入的图像进行等权　利　要　求　书 1/3 页 2 CN 115546683 A 2比例缩小， 将原 始图片尺寸统一调整为2 24×224； 其中， 图像增强、 光线增强和图像自适应尺寸的处 理顺序不分先后。 5.根据权利要求1或2所述的一种基于关键帧的改进色情视频检测方法， 其特征在于： 所述步骤4)包括下述具体步骤： 4.1)使用YOLOV5的Focus模块对经步骤3)处理后所得关键视频帧图像进行下采样， 即 对输入的关键视频帧图像每隔一个像素获取一个像素值， 组成一个新的通道， 从而将原始 的关键视频帧图像的特征通道扩充为原来的4倍， 然后将新得到的通道特征图使用卷积积 分得到新的特 征图； 4.2)使用YOLOv5中的CS P模块对新的特 征图进行避免重复特 征的计算； 4.3)将步骤4.2)得到的输出送入到FPN与PAN从多个尺度提取图像的局部特 征。 6.根据权利要求1或2所述的一种基于关键帧的改进色情视频检测方法， 其特征在于： 所述步骤5)包括下述具体步骤： 5.1)将步骤4)所得输入至MobileNet3神经网络模型， 通过深度卷积和逐点卷积组合的 方式对每一个颜色通道进行卷积处理， 在逐点卷积对深度卷积的输出进行卷积计算时， 通 过下式计 算： Gk,l,m＝∑i,jKi,j,m·FK+i‑1,l+j‑1,m， 其中， K是大小为DK×DK×m的卷积核， DK为输入 特征图的长或宽的尺寸， 其长和宽的尺寸相同， Fm为输入图像的第m个通道， Gm为输出的第m 个特征图； 5.2)经步骤5.1)后 每一个通道所产生的特征图进行全局池化处理， 而后通过两个阶段 的全连接操作， 其中第一次全连接操作的节点个数为输入通道个数的1/4,之后接入Relu函 数激活， 第二次全连接操作接入的节点个数为输入通道个数， 然后接入Hard ‑sigmoid激活 函数得到加权的特 征计算图； 其中， Relu函数为： Relu＝max(0,x)； x为输入的数据,max()表示 最大值函数； Hard‑sigmoid激活函数为： x为输入的数据， max()表 示最大值函数， min()表示最小值函数。 7.根据权利要求1或2所述的一种基于关键帧的改进色情视频检测方法， 其特征在于： 所述特定的加权计算采用下述公式完成： F＝(w×Fg， (1‑w)×Fl)， 其中， F为最终得到的融合特征， w为全局特征对应的权重， Fg为 全局特征， Fl为局部特 征； 其中局部特 征Fl的计算过程如下： 其中Fi为第i类敏感部分预测值， N 为预测的敏感部分检测框类别的数量； 将最终得到的融合特征F送入sigmoid分类器得到能够判断关键视频帧图像是否存在 色情信息的分类结果， 其中sigmo id函数为： 8.一种基于关键帧的改进色情视频检测系统， 其特征在于： 用于实现1～7任一项所述 的一种基于 关键帧的改进色情视频检测方法， 包括关键帧抽取模块、 图像预 处理模块、 局部 敏感特征检测模块、 全局特 征抽取模块以及特 征融合模块， 所述关键帧抽取模块， 基于关键帧抽取算法而搭建， 用于对视频流中的关键视频帧进 行抽取； 所述图像预处理模块， 对抽到的每一张关键视频帧图像进行包括图像数据增强、 光线权　利　要　求　书 2/3 页 3 CN 115546683 A 3