(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210326356.9 (22)申请日 2022.03.30 (71)申请人 福州大学 地址 350108 福建省福州市闽侯县福州大 学城乌龙江北 大道2号福州大 学 (72)发明人 牛玉贞　赖宇　 (74)专利代理 机构 福州元创专利商标代理有限 公司 35100 专利代理师 张灯灿　蔡学俊 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/25(2022.01) G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) (54)发明名称 融合局部和全局特征的无参考图像质量评 价方法及系统 (57)摘要 本发明涉及一种融合局部和全局特征的无 参考图像质量评价方法及系统， 该方法包括以下 步骤： 步骤S1： 对失真图像数据集中的图像进行 数据预处理， 并将数据集划分为训练集与测试 集； 步骤S2： 构建全局及局部图像坐标提取模块； 步骤S3： 构建时间注意力机制模块； 步骤S4： 构建 融合局部和全局图像特征的无参考图像质量评 价网络， 并采用训练集训练所述无参考图像质量 评价网络； 步骤S5： 将测试集中图像输入到训练 好的无参考图像质量评价网络模 型中， 输出对应 的图像质量评价结果。 该方法及系统有利于提高 无参考图像质量评价的准确性。 权利要求书3页 说明书7页 附图2页 CN 114742774 A 2022.07.12 CN 114742774 A 1.一种融合局部和全局特 征的无参 考图像质量评价方法， 其特 征在于， 包括以下步骤： 步骤S1： 将失真图像数据集划分为训练集与测试集， 并对数据集中图像进行数据预处 理； 步骤S2： 构建全局及局部图像坐标提取模块； 步骤S3： 构建时间注意力机制模块； 步骤S4： 构建融合局部和全局图像特征的无参考图像质量评价网络， 并采用训练集训 练所述无参 考图像质量评价网络； 步骤S5： 将测试集中图像输入到训练好的无参考图像质量评价网络模型中， 输出对应 的图像质量评价结果。 2.根据权利要求1所述的融合局部和全局特征的无参考图像质量评价方法， 其特征在 于， 所述步骤S1具体包括以下步骤： 步骤S11： 将失真图像数据集中的图像与其对应的标签进行配对处 理； 步骤S12： 将失真图像数据集中的图像按设定比例划分为训练集与测试集； 步骤S13： 将训练集中所有 待训练图像缩放到固定尺寸H ×W； 步骤S14： 对步骤S13处 理后的图像进行统一的随机翻转操作， 对数据进行增强； 步骤S15： 对步骤S14处 理后的图像和 测试集中的图像进行归一 化处理。 3.根据权利要求1所述的融合局部和全局特征的无参考图像质量评价方法， 其特征在 于， 所述步骤S2中， 所述全局及局部图像坐标提取模块按如下方法执行取全局或局部图像 坐标操作： 将尺寸为H ×W的图像划分为n2个不相交的全局或局部图像， 全局或局部图像 的 尺寸为h×w， 其中 然后记录每一个全局或局部图像左上角和右下角像 素 在原始图像的坐标， 其中n为设定参数， 当n＝ 1时提取的是全局图像， n>1时提取的是局部图 像； 所述全局及局部图像坐标提取模块重复执行上述取全局或局部图像坐标操作N次， 第i 次执行时参数n＝i， 得到N个图像尺度上的全局或局部图像的左上角和右下角的坐标， 将各 图像尺度上的全局或局部图像的左上角和右下角的坐标进 行拼接， 得到左上角和右下角的 坐标向量(xl,yl,xr,yr)， 向量的维度为 Q， 其中， Q ＝1+22+32+…+N2。 4.根据权利要求3所述的融合局部和全局特征的无参考图像质量评价方法， 其特征在 于， 所述步骤S3具体包括以下步骤： 步骤S31： 设时间注意力机制模块的输入为Fin， 其维度为C ×hx×wx； 首先改变输入特征 Fin， 维度为Q×c×hx×wx， 得到特征Freshape， 其中， c＝C /Q， Q为局部和全局图像 个数； 步骤S32： 将步骤S 31中的Freshape依次输入空间池化层和通道池化层， 首先将Freshape输入 到空间池化层， 得到 输出Fspatial， 其维度为 Q×c×1×1， Fspatial的计算公式为： Fspatial＝Maxpool(Freshape)+Avgpool(Freshape) 其中， Maxpool(*)表示步长为1的空间最大池化层， Avgpool(*)表示步长为1的空间平 均池化层； 然后将Fspatial输入到通道池化层， 得到输出Fchannel， 其维度为Q ×1×1×1， Fchannel的计 算公式为： Fchannel＝Conv1×1(Concat(CMaxpool(Fspatial),CAvgpo ol(Fspatial)))权　利　要　求　书 1/3 页 2 CN 114742774 A 2其中， CMaxpool(*)表示步长为1的通道最大池化层， CAvgpool(*)表示步长为1的通道 平均池化层， Concat( ·)表示特征在新的维度上进行拼接， Conv1×1(*)表示用于降维且卷积 核大小为1 ×1的卷积层； 步骤S33： 将步骤S32中的Fchannel通过Reshape操作改变其维度， 由Q ×1×1×1变为Q， 然 后将Fchannel输入两层全连接层中， 采用注意力机制来获得模型学习到图像不同的全局或局 部图像的重要程度， 以确定局部和全局图像中的哪些图像对于整体图像的质量评价具有 更 大的影响； 再经过sigmoid函数将数值映射到(0， 1)中， 得到特征权重wtime， 将wtime通过 Reshape操作， 将其维度由Q变为Q ×1×1×1， 之后用该特征权重作为对局 部与全局图像的 指导权重， 即将最初输入的图像特征Fin乘以权重wtime再加上Fin， 得到时间注意力机制模块 的最终输出为Ftime， 维度为C ×hx×wx， Ftime的计算公式为： wtimg＝Sigmoid(MLP1(Reshape1(Fchannel))) Ftime＝Fin+(Fin×Reshape2(wtime))。 5.根据权利要求4所述的融合局部和全局特征的无参考图像质量评价方法， 其特征在 于， 所述步骤S4具体包括以下步骤： 步骤S41： 以包括ResNet50、 ResNet101的图像分类网络中的一种为基础， 建立主干网 络， 去除主干网络的最后一层后作为特 征提取网络； 步骤S42： 将训练集中一个批次的图像输入到步骤S41中的特征提取网络， 特征提取网 络输出图像特征Fbackbone， 其维度为C ×hx×wx， C为图像特征的通道数； 同时， 将图像输入全 局及局部图像坐标提取模块， 得到局部和全局图像的左上角和右下角坐标； 步骤S43： 由于同一幅图像具有不同大小的全局图像和局部图像， 而在神经网络批处理 阶段需要特征维度相同， 因此将输出的图像特征Fbackbone和通过全局及局部图像 坐标提取模 块得到的与之相对应的局部和全局图像的左上角和右下角坐标一起输入到感兴趣区域校 正模块， 以此获得相同维度的局部和全局图像特征Falign， 其维度为C ×poolsize × poolsize， 其中， po olsize为图像特 征的尺寸大小； 步骤S44： 将步骤S43输出的特征Falign输入到步骤S3中构建的时间注意力机制模块中， 获得时间注意力机制的输出Ftime， 之后将Ftime输入到双向 门控制循环单元网络中， 以模拟人 类评价图像质量时对图像局部的顺序查看， 获得输出 Fbigru， 其维度为 Q×C； 步骤S45： 对于步骤S44的输出Fbigru， 首先采用Reshape操作改变其维度， 由Q ×C变为P， P ＝Q×C， 接着将Fbigru输入到最后的两层全连接层中， 以此获得最终的图像质量评价分数 Fout， 其维度为1， 表示图片的质量分数， 其计算公式为： Fout＝MLP2(Reshape3(Fbigru)) 步骤S46： 计算融合局部和全局图像特 征的无参 考图像质量评价网络的损失函数如下： 其中， m为样本个数， yi表示图像的真实质量分数， 表示图像经过融合局部和全局图像 特征的无参考图像质量评价网络得到的质量分数； 每个全局图像和局部图像的真实质量分 数和其所属的图像的真实质量分数相同； 步骤S47： 以批次为单位重复上述步骤S42至步骤S46， 直至步骤S46中计算得到 的损失权　利　要　求　书 2/3 页 3 CN 114742774 A 3