(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211140005.5 (22)申请日 2022.09.19 (71)申请人 桂林理工大 学 地址 541004 广西壮 族自治区桂林市七 星 区建干路12号 (72)发明人 叶汉民　王迎雪　 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/764(2022.01) G06V 10/52(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) A61B 5/02(2006.01) (54)发明名称 基于改进的上下文编码网络的微动脉瘤病 变分割方法 (57)摘要 为了更有效地检测出在糖尿病视网膜上发 生的微动脉瘤病变， 本发明提出了一种基于改进 的密集空洞卷积模块的上下文编码网络， 通过对 糖尿病视网膜病变图片的特征进行提取， 提高微 动脉瘤检测的准确性。 改进的密集空洞卷积模块 是将开始的分支从 网络中删除， 并新加入一个包 含更多空洞卷积块的分支， 使空洞卷积率r依次 递增， 感受野也随着r的增加而增加。 该网络能够 提取不同尺 寸的特征， 将糖尿病视网膜图片的微 动脉瘤病变分割出来。 实验是在印度糖尿病视网 膜病变图像数据集(IDRID)上进行的。 实验结果 表明， 与许多先进方法相比， 本发明方法实现了 更小的误差和更高的分割精度。 权利要求书1页 说明书3页 附图5页 CN 115496902 A 2022.12.20 CN 115496902 A 1.一种基于改进上下文编码网络的微动脉瘤分割方法， 其特征在于， 包括： 特征编码模 块， 改进的上下文提取模块， 特征解码模块； 其中特征编码模块使用的是经过预训练的 ResNet‑34， 可以更好地获取初步有效特征层； 其次， 上下文提取模块由改进的密集空洞卷 积模块和残差多核池化模块(Residual  Multi‑kernel Pooling， RMP)组成， 通过这个部分 可以利用和融合来自不同尺度的特征， 以提高医学图像分割的性能； 特征解码模块用于恢 复从特征编码模块和上 下文提取模块中提取的高层语义特 征， 并最终生成预测图。 2.根据权利要求1所述的一种基于改进上下文编码网络的微动脉瘤分割方法， 其特征 在于， 所述特征编码模块是将U ‑Net架构的下采样部分即左边的收缩路径换成经过预训练 的ResNet ‑34， 经过ResNet的四次卷积操作， 图片的通道数由64变为128、 256和512； 该部分 保留了前四个特征提取块， 加快了网络 收敛， 并且快捷连接机制可以显著增加初始网络的 训练速度； 因此使用经 过预训练的ResNet ‑34作为主干特 征提取部分。 3.根据权利要求1所述的一种基于改进上下文编码网络的微动脉瘤分割方法， 其特征 在于， 所述改进的上下文提取模块包含改进的密集空洞卷积模块和RMP； 改进的密集空洞卷 积模块以级 联方式堆叠， 一共有四条分支， 是随着空洞卷积块的数量而 逐渐增加， 第一个分 支有一个块， 第二个分支有两个块， 第三个分支有三个块， 第四个分支有四个块， 每个块都 紧密有序地排列在一起； 在这个过程中空洞卷积率r随之增加， 从1到3、 5和7； 在分支的末 尾， 采用一个1 ×1卷积进行校正线性激活； RMP主要使用四个不同大小的感受野对全局上下 文信息进行编码， 在每一级合并后使用1 ×1卷积以减少权值的维数和计算量， 然后对低维 特征图进 行上采样， 通过双线性插值得到与 原始特征图大小相同的特征； 最后， 我们将原始 特征与上采样特征映射连接起来； 通过这样的方法可以更有效地进行不同尺寸特征的提 取。 4.根据权利要求1所述的一种基于改进上下文编码网络的微动脉瘤分割方法， 其特征 在于， 所述特征解码模块包含了1 ×1卷积和3 ×3反卷积运算， 通过跳过连接操作， 从编码 器 到解码器可以直接获取一些关于图像的详细信息， 以弥补由于连续池化和跨步卷积操作而 导致的信息 丢失。 5.根据权利要求1所述的一种基于改进上下文编码网络的微动脉瘤分割方法， 其特征 在于， 对所述微动脉瘤病变训练集图片进 行训练， 输出该过程中最佳的模型； 接着使用最佳 的模型对测试集图片进行 预测， 得出结果。 6.根据权利要求5所述的一种基于改进上下文编码网络的微动脉瘤分割方法， 其特征 在于， 所述方法还包括将图片进 行翻转、 旋转、 对比度增强、 亮度增强、 色彩增强的数据增强 方式。 7.根据权利要求5所述的一种基于改进上下文编码网络的微动脉瘤分割方法， 其特征 在于， 所述方法选择了合适的损失函数， 在实验过程中调整 学习率， 采用IoU、 准确率和敏感 性作为预测结果。 8.根据权利要求6所述的一种基于改进上下文编码网络的微动脉瘤分割方法， 其特征 在于， 所述方法对微动脉瘤图片进行归一化处理， 具体包括： 读取每一张图片的像素参数， 将图片进行缩小以实现物理尺寸统一。权　利　要　求　书 1/1 页 2 CN 115496902 A 2基于改进的上下文编码网 络的微动脉瘤病变分割方 法 技术领域 [0001]本发明涉及 一种能够提取糖尿病视网膜中微动脉瘤病变特征的深度学习方法， 该 方法是将特征编码模块、 基于改进的密集空洞卷积的上下文编 码模块和特征解码模块组合 到一起， 从而对糖尿病视网膜病变图片进行分割的改进上 下文编码网络 框架。 背景技术 [0002]糖尿病视网膜病变是一种常见的影响眼睛的糖尿病并发症， 发生在视网膜血管异 常改变时， 是发达国家劳动适龄人口失明的主要原因之一。 作为一种微血管疾病， 糖尿病视 网膜病变一开始可能不会引起任何症状， 或者只是轻微的视力问题， 如果没有及时治疗或 者采取合适的方法， 可能就会导致视网膜损伤， 甚至会造成眼睛失明的严重后果。 因此， 对 糖尿病视网膜病变进 行早期诊断和治疗可以减少视力丧 失和失明的可能性， 这对糖尿病患 者来说至关重要。 而糖尿病视网膜病变在不同阶段导致的特征性病变有多种， 早期通常没 有明显的症状， 但其数量和 严重程度主要随时间增加。 糖尿病视网膜病变通常始于视网膜 毛细血管的微小变化， 最先能够检测到的异常是微动脉瘤病变(Microaneurysms,MA)， 它是 由视网膜毛细血管 的局部扩张引起的红色圆形小区域， 分布在视网膜上 的各个位置， 检测 起来较为困难， 但一 旦检测出来对检测其 他病变的位置也有帮助， 因此检测MA意 义重大。 [0003]在图像分割领域， 使用传统的卷积神经网络对图像进行处理时， 要先对图像做卷 积再进行池化操作， 这样可以在降低图像尺寸的同时增大感受野， 但是 由于图像分割 预测 一般是像素级别的输出， 因此后面要把前一步池化后尺寸较小的图像上采样到原始的尺寸 进行预测。 简单来说， 就是先通过池化操作减小图像尺寸增大感受野， 再通过上采样操作扩 大图像尺寸。 在这样先减小再增大图像尺寸的过程中， 会导致图像细节信息被丢失， 小物体 信息将无法被重 建。 对于糖尿病视网膜病变数据集来说， 一些微小的病变将无法被检测到， 从而无法被 分割出来。 为了解决这个问题， 我们使用了空洞卷积的方法， 在不做池化操作损 失信息的情况 下， 增大了感受野， 让每 个卷积输出都包 含较大范围的信息 。 [0004]空洞卷积 可以被用于明确控制在深卷积神经网络中计算特征响应的分辨率， 也可 以根据图像的实际情况有效地扩大卷积层中过滤器的视野， 以便在不增加参数数量或计算 量的情况下合并更大的上下文信息。 空洞卷积的主要思想是在卷积核的像素之间插入 “洞” (零)来提高图像分辨率， 从而实现深度卷积神经网络中密集的特征提取。 在数学上可以被 定义为： [0005] [0006]ResNet架构自2015年诞生以来， 在训练神经网络的最佳实践方面取得了重大进 展， 新的优化和数据扩充提高了训练方法的有效性， 可以训练更深层次神经网络。 并且 ResNet架构增加了快捷连接机制， 避免了梯度消失， 加快了网络收敛， 快捷 连接机制还 可以 显著增加初始网络的训练速度。 [0007]残差多核池化模块(Residual  Multi‑kernel Pooling， RMP)是基于空间金字塔池说　明　书 1/3 页 3 CN 115496902 A 3