(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210610029.6 (22)申请日 2022.05.31 (71)申请人 苏州大学 地址 215000 江苏省苏州市吴中区石湖西 路188号 (72)发明人 朱伟芳　汤伟　陈新建　 (74)专利代理 机构 苏州市中南伟业知识产权代 理事务所(普通 合伙) 32257 专利代理师 冯瑞 (51)Int.Cl. G06T 7/11(2017.01) G06T 3/40(2006.01) G06V 20/70(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于多尺度与局部特征引导网络的角膜神 经纤维分割方法 (57)摘要 本发明公开了一种基于多尺度与局部特征 引导网络的角 膜神经纤维分割方法、 装置、 设备 以及计算机可读存储介质包括： 利用U型网络的 编码器和解码器对医学样本图像进行特征提取； 利用多尺度深度监督网络上采样每个解码器的 输出， 将每个解码器的输出与预设解码器的输出 进行拼接， 输出每个解码器对应的医学分割图 像； 计算每个解码器对应的医学分割图像与医学 图像训练集标注区域的损失函数值； 基于多个损 失函数值对网络进行监督训练， 本发 明利用多个 损失函数值优化每个解码器的输出， 从而更好的 加快网络的收敛速度， 提升分割性能， 提高医学 图像分割的精确度。 权利要求书2页 说明书16页 附图4页 CN 115082500 A 2022.09.20 CN 115082500 A 1.一种基于多尺度与局部特 征引导网络的角膜神经纤维分割方法， 其特 征在于， 包括： 将医学图像训练集输入多尺度与局部特征引导网络进行训练， 所述多尺度与局部特征 引导网络包括U型网络和多尺度深度监 督网络； 利用U型网络的编码器和解码器对医学样本图像进行 特征提取； 利用所述多尺度深度监督网络对每个解码器输出的特征图， 将上采样处理后的每个解 码器输出的特征图与预设解码器输出的特征图进 行拼接， 并通过卷积层对拼接后的特征图 进行处理， 输出每 个解码器对应的医学分割图像； 计算所述每 个解码器对应的医学分割图像与所述样本图像的标注区域的损失函数值； 基于多个损失函数值对所述多尺度与局部特征引导网络进行监督学习， 得到完成训练 的多尺度与局部特 征引导网络 。 2.如权利要求1所述的方法， 其特 征在于， 所述多尺度与局部特 征引导网络还 包括： 多个多尺度特征渐进引导网络， 其中， 每个多尺度特征渐进引导网络采集所述多个编 码器输出的特 征图并进行融合， 将融合后的特 征图输入指定的解码器中。 3.如权利要求2所述的方法， 其特征在于， 所述每个多尺度 特征渐进引导网络采集所述 多个编码器输出的特 征图并进行融合， 将融合后的特 征图输入指定的解码器中包括： S31： 采集每 个编码器输出的特 征图； S32： 将第i个编码器输出的特 征图进行动态上采样处 理， 输出第i动态特 征图； S33： 将所述第i动态特征图与第i ‑1个编码器输出的特征图进行拼接融合， 进行动态上 采样处理， 输出第i ‑1动态特征图； S34： 令i＝i ‑1， 重复步骤S33， 直至i ‑1等于预设值， 将所述第i ‑1动态特征图输入所述 指定的解码器中。 4.如权利要求1所述的方法， 其特征在于， 所述多尺度与局部特征引导网络还包括： 局 部特征引导注意力网络； 将最后一层编码器输出的特 征图输入所述局部引导注意力网络中； 利用所述局部引导注意力网络对所述最后一层编码器输出的特征图进行局部信息捕 捉， 输出局部注意力特 征图； 将所述局部注意力特 征图输入所述 解码器中进行处 理。 5.如权利要求4所述的方法， 其特征在于， 所述利用所述局部引导注意力网络对所述特 征图进行局部信息捕捉， 输出局部注意力特 征图包括： 将所述最后一层编码器输出的特 征图裁剪为多个小分块； 将每个小分块利用横条状池化层、 竖条状池化层和点状池化层进行池化， 得到横条状 特征、 竖条状特征和点状特 征； 将所述横条状特 征、 所述竖 条状特征和所述 点状特征扩展并进行拼接， 得到空间特 征； 将所述每 个小分块利用三个卷积层进行处 理， 得到三个 像素分支； 将所述三个像素分支进行拼接， 得到像素 特征； 将所述空间特征、 所述像素特征和所述多个小分块相加重整， 将输出的所述局部注意 力特征图输入至第一层解码器中。 6.如权利要求1所述的方法， 其特征在于， 所述利用U型网络的编码器和解码器对医学 样本图像进行 特征提取包括：权　利　要　求　书 1/2 页 2 CN 115082500 A 2利用所述U型网络中多个编码器对所述医学样本 图像进行下采样特征提取， 得到特征 图； 将所述特征图输入所述U型网络中多个特征解码器中进行上采样处理， 输出医学分割 图像。 7.如权利要求6所述的方法， 其特征在于， 所述利用所述U型网络中多个编码器对所述 医学样本图像进行 下采样特 征提取， 得到特 征图包括： 将所述医学样本图像输入第一卷积层中进行 特征提取， 输出第一特 征图； 将所述第一特 征图进行 下采样， 输入第二卷积层中进行 特征提取， 输出第二特 征图； 将所述第二特 征图进行 下采样， 输入第一ResNet层中进行 特征提取， 输出第三特 征图； 将所述第三特 征图进行 下采样， 输入第二ResNet层中进行 特征提取， 输出 所述特征图。 8.一种基于多尺度与局部特 征引导网络的角膜神经纤维分割装置， 其特 征在于， 包括： 输入模块， 用于将医学图像训练集输入多尺度与局部特征引导网络进行训练， 所述多 尺度与局部特 征引导网络包括U型网络和多尺度深度监 督网络； 编码解码模块， 用于利用U型网络的编码器和解码器对医学样本图像进行 特征提取； 特征拼接模块， 用于利用所述多尺度深度监督网络对每个解码器输出的特征图， 将上 采样处理后的每个解码器输出的特征图与预设解码器输出的特征图进 行拼接， 并通过卷积 层对拼接后的特 征图进行处 理， 输出每 个解码器对应的医学分割图像； 计算损失模块， 用于计算所述每个解码器对应的医学分割图像与所述样本图像的标注 区域的损失函数值； 监督训练模块， 用于基于多个损失函数值对所述多尺度与局部特征引导网络进行监督 学习， 得到 完成训练的多尺度与局部特 征引导网络 。 9.一种基于多尺度与局部特 征引导网络的角膜神经纤维分割设备， 其特 征在于， 包括： 存储器， 用于存 储计算机程序； 处理器， 用于执行所述计算机程序时实现如权利要求1至7任一项所述一种基于多尺度 与局部特 征引导网络的角膜神经纤维分割方法的步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有计算机 程序， 所述计算机程序被处理器执行时实现如权利要求 1至7任一项 所述一种基于多尺度与 局部特征引导网络的角膜神经纤维分割方法的步骤。权　利　要　求　书 2/2 页 3 CN 115082500 A 3