(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210562739.6 (22)申请日 2022.05.23 (71)申请人 宁波大学 地址 315211 浙江省宁波市江北区风 华路 818号 (72)发明人 曹刘燕　蒋刚毅　郁梅　 (74)专利代理 机构 宁波甬致专利代理有限公司 33228 专利代理师 袁波 (51)Int.Cl. G06V 10/28(2022.01) G06V 10/44(2022.01) G06V 10/46(2022.01) G06V 10/50(2022.01) G06V 10/56(2022.01)G06V 10/80(2022.01) G06T 7/55(2017.01) (54)发明名称 基于视觉感知的高动态范围立体全向图像 质量评价方法 (57)摘要 本发明提供了基于视觉感知的高动态范围 立体全向图像质量评价方法， 涉及图像质量评价 技术领域， 包括步骤： S1： 建立单目感知模型包 括， 基于预设特征提取流程对全局颜色特征提 取； 根据预设采样流程对视口进行采样； 对采样 的视口图像进行对称或非对称失真量化处理， 得 到对称或非对称失真度量特征； 对采样的视口 图 像进行场景特性的感知特征提取处理， 得到左右 失真图像的细节对比度特征和左右失真图像的 结构特征； S2： 将对称或非对称失真度量特征、 左 右失真图像的细节对比度特征和左右失真图像 的结构特征进行特征聚合。 本方法能够针对受局 限于低动态范围的全向图像采集技术， 提供一种 客观预测精度更高的HSOI图像质量评估方法。 权利要求书4页 说明书11页 附图2页 CN 114998596 A 2022.09.02 CN 114998596 A 1.基于视觉感知的高动态范围立体全向图像质量评价方法， 其特 征在于， 包括 步骤： S1： 建立单目感知模型包括， 基于预设特征提取流程对全局颜色特征提取； 根据预设采 样流程对视口进行采样； 对采样的视口图像进行对称或非对称失真量化处理， 得到对称或 非对称失真度量特征； 对采样的视口图像进行场景特性的感知特征提取处理， 得到左右失 真图像的细节对比度特 征和左右失真图像的结构特 征； S2： 将对称或非对称失真度量特征、 左右失真图像的细节对比度特征和左右失真图像 的结构特 征进行特征聚合； S3： 建立双目感知模型包括， 将采样的视口图像进行双目融合处理， 得到双目融合模型 提取的特征； 将采样的视口图像进 行双目差异处理， 得到双目差异特征； 并将双目融合模型 提取的特 征和双目差异特 征进行特征聚合； S4： 按照预设特征选择流程对步骤S2和步骤S3聚合后的特征进行筛选， 得到特征选择 后的特征集； S5： 将特征选择后的特 征集作为输入， 选择回归 模型， 得到预测得分。 2.根据权利要求1所述的基于视觉感知的高动态范围立体全向图像质量评价方法， 其 特征在于， 所述 步骤S1中的预设特 征提取流 程包括： S101： 采用IL和IR分别表示失真左图像和失真右图像， 将IL和IR从RGB空间转换到拮抗颜 色通道κ1‑κ2； 其中， κ1‑κ2的初步联合计算表 示为： 和 分别表示κ1和 κ2通道的像素均值； 和 分别表示κ1和 κ2通道的像素 标准差； S102： 分别计算 IL和IR的 作为空域颜色特 征Fsc； 其中， 空域颜色特 征表示为 和 的进阶联合统计度量 即 S103： 基于κ1和 κ2两个通道， 对IL和IR进行5×5图像块大小的DCT变换； S104： 对变换后的DCT系数矩阵， 去掉直流分量， 将交流分量分为低频、 中频和高频三个 频带， 计算每个图像块三个频带 的方差作为频带能量， 然后计算所有图像块的均值作为对 应频带的最终能量特 征； S105： 最终能量特 征作为DCT域颜色特 征Fdc， 全局颜色特 征表示为Fec＝{Fsc,Fdc}。 3.根据权利要求2所述的基于视觉感知的高动态范围立体全向图像质量评价方法， 其 特征在于， 所述 步骤S1中的预设采样流 程包括： S106： 分别对IL和IR进行视口采样， 得到视口图像VL,m和VR,m， 其中m＝1,2, …,M+2； 视口 采样的视口为I＝{ IE,IB}， 其中， IE表示赤道区域， IB表示两极区域， 在IE中以等角度间隔均 匀采样M个视口， 角度设置为2 π/ M； S107： 选择IB对应的双目乘积显著图SLR中像素值最大的点作为视口中心点， 总视口个 数为M+2； S108： 双目乘积显著图SLR的求取步骤为： 计算IL和IR的左、 右平面显著图SLR， 双目乘积 显著图SLR为经过视差匹配后的相关性度量： SLR(i,j)＝SL(i,j)·SR((i,j)+di,j)； 其中， di,j 表示在像素(i,j)处的SL和SR的水平视 差， 视差匹配采用光 流法计算得到 。权　利　要　求　书 1/4 页 2 CN 114998596 A 24.根据权利要求3所述的基于视觉感知的高动态范围立体全向图像质量评价方法， 其 特征在于， 所述 步骤S1中的对称或非对称失真量 化处理包括： S109： 对视口图像VL,m和VR,m分别进行三个高斯函数尺度参数l下的MSR分解， 其中， m＝1, 2,…,M+2； l设为{25,100,240}， 得到分解后的照明分量， 分别记为 和 和 针对 和 采用LDP纹理描述符计算 其特征映射图； S110： 通过LDP在{0 °,45°,90°,135°}四个方向对二阶求导后的图像像素进行二进制编码， 每个方向的LDP特征映射图可以进行十维直方图量化， 得到 和 的LDP量化直方图， 并 表示为 和 S111： 基于 和 分别计算每十维直方图的绝对相关系数和相关距离作为左右 图像相似性特征 得到对称或非对称失真度量 特征为fcorr＝{T,O}。 5.根据权利要求4所述的基于视觉感知的高动态范围立体全向图像质量评价方法， 其 特征在于， 所述 步骤S1中场景 特性的感知特 征提取处 理包括： S112： 对视口图像VL,m和VR,m分别进行三个尺度的LP分解， 其中， m＝1,2, …,M+2； 并取三 层细节层和前两层基本层作为 LP分解后的图层； 其中， VL,m的输出细节层集 合表示为 输出基本层集 合表示为 VR,m的输出细节层集合表示为 输出基本层集合 表示为 S113： 基于细节层DL,m和DR,m分别计算LBP映射图， 计算VL,m和VR,m的对比度图， VL,m的对比 度图为 其中 表示VL,m的标准差图， 是对应的均值图， 和 均由二 维圆对称高斯加权滤波器得到； ε是防止分母为0的常数， 设为0.00001； VR,m的对比度图为 其中， 表示VRm的标准差图， 是对应的均值图， 和 均由二维圆对 称高斯加权滤波器得到； S114： 利用CL对DL,m的LBP映射图进行加权， 分别量化为十维直方图特征； 利用CR对DR,m的 LBP映射图进 行加权， 分别量化为十维直方图特征； 得到左右失真图像的细节对比度特征表 示为fclbp； S115： 根据基本层集合B ′L,m和B′R,m计算全局结构张量， 分别进行二维结构张量变换， 对 输出的结构张量矩阵进行矩阵分解， 将每个基本层得到的两个特征值 χ1和 χ2作为结构特征， 得到最终左右失真图像的结构特 征表示为fst。 6.根据权利要求5所述的基于视觉感知的高动态范围立体全向图像质量评价方法， 其 特征在于， 所述 步骤S2包括： S201： 对双目乘积显著图SLR进行视口采样， 得到显著视口图 计算显著视口图的归一化显著值WS＝{W1,W2,...,WM+2}作为显著性权重以表示受试者对不 同视口图像的偏好：权　利　要　求　书 2/4 页 3 CN 114998596 A 3