(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210463222.1 (22)申请日 2022.04.28 (71)申请人 宁波大学 地址 315211 浙江省宁波市江北区风 华路 818号 (72)发明人 邹炉琳　郭立君　张荣　 (74)专利代理 机构 宁波甬致专利代理有限公司 33228 专利代理师 袁波 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/62(2017.01) G06T 7/66(2017.01) G06T 7/73(2017.01) G06V 10/44(2022.01)G06V 10/80(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度学习的脊柱侧弯Cobb角自动 评估的方法 (57)摘要 本发明涉及一种基于深度学习的脊柱侧弯 Cobb角自动评估的方法， 通过具有HRNet ‑18编码 单元和分辨率等价融合模块的解码单元构成的 网络模型， 将X线片图像中椎骨中心点坐标和椎 骨倾斜向量进行预测， 消除了 现有工作中基于点 预测Cobb角间接产生的误差， 实现Cobb角的高精 度自动评估； 同时将椎骨中心点坐标和椎骨倾斜 向量结合通过OpenCV可视化， 实现视觉可解释 性。 权利要求书5页 说明书11页 附图5页 CN 114881957 A 2022.08.09 CN 114881957 A 1.一种基于深度学习的脊柱侧弯Cob b角自动评估的方法， 其特 征在于， 包括： 步骤1、 采集若干张X线片图像， 并计算线片图像中的椎骨中心点和椎骨倾斜向量作为 标签， 作为训练样本集； 步骤2、 基于训练样本集构建用于得到预估椎骨中心点和预估椎骨倾斜向量的网络模 型， 所述网络模型包括编码单元和解码单元， 所述编码单元包括HRNet ‑18， 用于输出4层特 征图， 所述解码单元包括多分辨率等价融合模块， 用于将低分辨率下具有强语义信息的特 征图和高分辨 率下具有丰富空间信息的特 征图进行 特征融合， 得到特 征图像； 步骤3、 基于特 征图像解码得到预估椎骨中心点和预估椎骨倾 斜向量； 步骤4、 根据步骤3计算得到的椎骨中心点和椎骨倾斜向量与步骤2输出的预估椎骨中 心点和预估椎骨倾 斜向量构建总体损失函数， 优化网络模型； 步骤5、 构建用于计算Cob b角的合理角矩阵； 步骤6、 基于网络模型和合理角矩阵计算用于脊柱评估的Cobb角并通过OpenCV将Cobb 角可视化。 2.根据权利要求1所述的一种基于深度学习的脊柱侧弯Cobb角自动评估的方法， 其特 征在于， 所述 步骤1具体包括： 步骤101、 采集的X线片图像包括n节椎骨， 每节椎骨包括左上、 右上、 左下和右下四个角 点坐标， 通过计算每节椎骨四个角点 坐标的平均值得到每节椎骨中心点的坐标： 式中， ltn,rtn,lbn,rbn分别表示第n节椎骨的左上角点、 右上角点、 左下角点和右下角点 的坐标； 步骤102、 根据椎骨中心点的坐标生成椎骨中心点的高斯热图： 式中， (X,Y)为高斯热图中的像素坐标， (xn,yn)为第n节椎骨中心点坐标； σn为高斯热图 形成的圆盘的半径； 步骤103、 将X线片图像中的n个椎骨中心点的高斯热图合并成为一张椎骨中心点高斯 热图H： H＝H1+H2+……+Hn； 步骤104、 通过 椎骨的四个角点 坐标分别得到椎骨左、 右侧边的中心点： 则第n节椎骨的椎骨倾 斜向量为：权　利　要　求　书 1/5 页 2 CN 114881957 A 2式中， a为椎骨X 方向上的倾 斜分量， b为Y方向上的倾 斜分量。 3.根据权利要求1所述的一种基于深度学习的脊柱侧弯Cobb角自动评估的方法， 其特 征在于， 所述 特征图像包括预测中心点高斯热图Hpred和椎骨倾斜向量预测特征图Vpred， 所述 步骤2具体包括： 步骤201、 将X线片图像输入网络模型， 先经过HRNet ‑18编码单元输出4层特征图{C1,C2, C3,C4}， 所述特 征图的分辨 率{C'1,C'2,C'3,C'4}； 步骤202、 将特征图{C1,C2,C3,C4}通过多分辨率等价融合模块生成解码阶段的特征图 {P1,P2,P3}； 具体为： 将特征图C4进行上采样， 上采样的倍数为 然后对上采样后的特征图C4经过3×3的卷 积层进行特征处理， 并将特征图C4的通道数调至特征图C3的通道数； 将相同通道数的特征图 C4和特征图C3通过通道拼接实现特 征的融合， 生成解码阶段的特 征图P1； 将P1进行上采样， 上采样的倍数为 对上采样后的特征图P1经过3×3的卷积层进行特 征处理， 并将P1的通道数调至特征图C2的通道数； 将相同通道的P1和特征图C2通过通道拼接 实现特征的融合， 生成解码阶段的特 征图P2； 同理， 将P2进行上采样， 上采样的倍数为 对上采样后的P2经过3×3的卷积层进行特 征处理， 并将P2的通道数调至特征图C1的通道数； 将相同通道数的P2和特征图C1通过通道拼 接实现特 征的融合， 生成解码阶段的特 征图P3； 步骤203、 将解码阶段特征图P3经过一个3 ×3的卷积层和一个1 ×1的卷积层分别生成预 测中心点高斯热图Hpred和椎骨倾 斜向量预测特 征图Vpred。 4.根据权利要求3所述的一种基于深度学习的脊柱侧弯Cobb角自动评估的方法， 其特 征在于， 所述 步骤3包括： 步骤301、 对预测中心点高斯热图Hpred进行3×3的池化层池化后， 选取响应值最大的n个 点作为X线片图像的预估椎骨中心点： 步骤302、 基于预估椎骨中心点得到预估椎骨倾斜向量， 第n个椎骨的预估椎骨倾斜向 量为： 5.根据权利要求4所述的一种基于深度学习的脊柱侧弯Cobb角自动评估的方法， 其特 征在于， 所述 步骤4具体包括： 步骤401、 构建总体损失函数： Loss＝Lhm+Lvec 式中， Lhm用于优化预测中心点高斯热图Hpred； Lvec用于优化椎骨倾斜向量预测特征图权　利　要　求　书 2/5 页 3 CN 114881957 A 3