(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210385383.3 (22)申请日 2022.04.13 (71)申请人 桂林电子科技大 学 地址 541004 广西壮 族自治区桂林市七 星 区金鸡路1号 (72)发明人 林乐平　朱静　欧阳宁　莫建文　 (74)专利代理 机构 桂林市华杰 专利商标事务所 有限责任公司 451 12 专利代理师 覃永峰 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于结构组稀疏网络的图像压缩感知重建 方法 (57)摘要 本发明公开了一种基于结构组稀疏网络的 图像压缩感知重建方法， 所述方法为： 为图像块 构造相似组， 将图像块与其相似组输入卷积神经 网络； 将图像块相似组输入边缘轮廓重构分支， 通过其中的局部残差递归网络和亚相素层， 获得 对图像边缘轮廓的重建； 将图像块相似组输入局 部细节重构分支， 通过其中的密集连接网络和多 尺度编解码网络模块， 获得对图像细节纹理的重 建； 将两分支重建图像进行融合， 输出得到对原 始图像的重建图； 训练中， 设计并采用结构组稀 疏约束损失函数进行训练约束。 这种方法能节约 计算资源、 能提高图像的重建精度。 权利要求书3页 说明书7页 附图2页 CN 114821100 A 2022.07.29 CN 114821100 A 1.一种基于结构组稀疏网络的图像压缩感知重建方法， 其特 征在于， 包括如下步骤： 1)获取观测数据： 将91 ‑images数据集和 BSD200‑train数据集作为训练集、 再将训练集 中的图像进行随机裁剪， 获得大小为B ×B的不重叠的图像块xi， 其中， i＝1,2, …,M,将图像 块向量化为N ×1维的列向量、 并将列向量归一化到[0,1]区间、 用随机高斯矩阵φ进行采 样， 获得对应的压缩观测值yi＝φxi， i＝1,2,…,M； 2)构建每个图像块 的相似组Yi： 计算单个图像块的压缩观测值yi与其它图像块 的压缩 观测值yj的余弦相似性 其中， yi表示局部图像块xi的压缩观 测值， yj表示图像块xj的压缩观测值， 并将相似度按照从大到小次序进行排列， 取相似度最 大的5项对应的压缩观测值构造相似组 3)采用局部细节重构分支获得细节信息重构图像块相似组 将各压缩观测值相似组 Yi， i＝1,2, …,M输入到F1分支， 采用全连接网络进行线性映射得到初始重建图像相似组 Zi,1， 并将初始重建图像相似组Zi,1输入残差网络F2进行特征增强得到增强重建图像相似组 如公式(1)、 (2)所示： Zi,1＝α(Ff(W1,Yi))     (1)， 其中， Ff表示全连接网络， W1表示全连接参数， α 为激活函数操作， F2为残差网络,W2为残 差网络参数， F1分支采用全连接网络层Ff对相似组Yi内压缩观测值进行升维、 转换尺寸， 得 到大小为B ×B的初始重建图像块相似组Zi,1； 4)采用边缘轮廓重构分支获得边缘轮廓重构图像块相似组 将各压缩观测值相似 组Yi， i＝1,2, …,M输入到F3分支采用全连接网络进行线性映射得到初始重建图像相似组 Zi,2， 并将初始重建图像相似组Zi,2输入局部残差递归网络F4得到的增强重建图像相似组 将增强重建图像相似组内增强重建图像采用亚像素上采样得到与原始分辨率大小相 同B×B的增强重建图像， 完成对图像整体 轮廓的重建， 如公式(3)、 (4)所示： Zi,2＝α(Ff1(W3,Yi))    (3)， 其中,Ff1表示全连接网络， W3表示全连接参数， α 为激活函数操作， F4为残差网络， W4为残 差网络参数， upsub为亚像素上采样， F3分支采用全连接网络层Ff1对相似组Yi内压缩观测 值 进行升维、 转换尺寸， 得到大小为 的初始重建图像相似组Zi,2； 5)对两分支增强重建图像相似组 进行特征融合： 对步骤4)中两分支得到的增强 重建相似组内的图像 进行特征融合， 如公式(5)所示： 权　利　要　求　书 1/3 页 2 CN 114821100 A 2输出重建图像相似组 其中zi为原始图像块估计值， m＝1,2,…,5为其相似图像块估计值； 6)采用结构组稀疏约束损失进行网络训练： 如公式(6)所示： 其中， Yi为压缩观测值相似组， φ为观测矩阵， Zi为重建图像相似组， xi为原始图像块， 为重构的相似图像， 将步骤5)得到的最终输出的重建图像相似组Zi内图像通 压缩观测矩阵φ进行采样后与步骤2)中得到的原始图像 块xi的压缩观测相似组Yi构建相似 组内局部结构稀疏约束损失 计算相似组内图像损失， 对组内图像训练进 行约束， 同时通过计算局部图像块xi与步骤5)中得到的输出相似组Zi中的相似图像块估计 值 的加权构造块间非局部稀疏约束损失 对局部图像块重建进行约 束， 并将两种损失进行组合构建结构组稀 疏约束损失 计 算网络训练误差值,通过反向传播对网络参数进行优化。 2.根据权利要求1所述的基于结构组稀疏网络的图像压缩感知重建方法， 其特征在于， 步骤3)中所述残差网络F2具体过程 为： 3‑1)对F1分支得到的初始重建图像相似组Zi,1内初始重建图像首先采用密集连接网络 Fd做浅层特征提取得到特征图 并将提取的特征图 输入由两次下采样和两次上采样 组成的多尺度编解码网络Fc‑d提取图像多尺度语意特征， 最后将编解码网络的输出图像与 初始重建图像相似组Zi,1内的初始重建图像块进行全局残差相加融合， 得到局部细节重构 分支的增强重建图像相似组 如公式(7)、 (8)、 (9)、 (10)、 (1 1)、 (12)、 (13)所示： 其中， Fd表示密集连接网络， Fc1,Fc2,Fc3表示编码器 中提取特征的卷积操作， Fd1,Fd2,Fd3 表示解码器中提取特征的卷积操作， 表示下采样 up2,up4分别表示上采样2倍、 4 倍， W5,W6表示卷积参数。权　利　要　求　书 2/3 页 3 CN 114821100 A 3