(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210353652.8 (22)申请日 2022.04.06 (65)同一申请的已公布的文献号 申请公布号 CN 114663735 A (43)申请公布日 2022.06.24 (73)专利权人 杭州健培科技有限公司 地址 311215 浙江省杭州市萧 山区经济技 术开发区明星路371号2幢6 08室 (72)发明人 何林阳　季红丽　程国华　 (74)专利代理 机构 杭州汇和信专利代理有限公 司 33475 专利代理师 薛文玲 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/44(2022.01)G06V 10/42(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/00(2017.01) (56)对比文件 US 2021407081 A1,2021.12.3 0 Chao Chen et al.A ttention-Guided Discrimi native Regi on Localization and Label Distributi on Learning for Bo ne Age Assessment. 《 IE EE Journal of Bi omedical and Health I nformatics》 .202 2,第26卷(第3 期), 审查员 王澜 (54)发明名称 基于联合全局及局部卷积神经网络特征的 双骨龄评估方法 (57)摘要 本申请提出了一种基于联合全局及局部卷 积神经网络特征的双骨龄评估 方法， 所述方法包 括： 获取测试者对应的手骨全图、 性别信息以及 从手骨全图中提取出的对应每个待评级骨骺区 域的骨骺区域图像； 结合骨龄评估任务和解剖学 局部骨骺区域的成熟度评级任务来同时利用全 局特征和局部特征， 从而提升骨龄评估方法的性 能。 权利要求书2页 说明书12页 附图4页 CN 114663735 B 2022.10.11 CN 114663735 B 1.一种基于联合全局及局部卷积神经网络特征的双骨龄评估方法， 其特征在于， 所述 方法包括： 获取测试者对应的手骨全图、 性别信 息以及从手骨全图中提取出的对应每个待评级骨 骺区域的骨骺区域图像； 构建联合全局及局部卷积神经网络特征的双骨龄预测模型， 双骨龄预测模型包含第 一 卷积神经网络、 第二卷积神经网络和GCN网络， 第一卷积神经网络用于全图特征提取， 第二 卷积神经网络和GCN网络用于局部特征提取， 双骨龄预测模型通过GP图谱骨龄全局监督和 RUS成熟度局部监 督联合训练框架逐步交替训练获得； 根据双骨龄预测模型的第 一卷积神经网络对手骨全图进行卷积网络特征提取操作， 得 到手部骨骼全局特 征； 根据双骨龄预测模型的全连接层从性别 信息中提取 出目标性别特 征； 根据双骨龄预测模型的局部特征提取网络依次对每个骨骺区域图像进行卷积网络特 征提取操作， 得到每 个骨骼区域图像对应的骨骺局部特 征； 将目标性别特征与手部全局特征通过第一全连接层进行拼接， 得到第一拼接特征， 将 第一拼接特征输入到全连接层 并与拷贝来的所有骨骺局部特征进行拼接得到一维融合特 征； 对融合特征进行回归操作 得到手骨全图的图谱骨龄评估分布图， 基于图谱骨龄评估分 布图确定GP图谱骨龄 评估结果； 将N个骨骺局部特征， 输入GCN网络获得N个深加工局部特征； 将每个深加工局部特征分 别与拷贝的性别特征拼接获得第二拼接特征， 将所有第二拼接特征进 行回归操作得到对应 的骨骺区域的RUS成熟度评估分布图， 基于每个RUS评估分布图确定一个RUS成熟度值， 并通 过汇总所有RUS成熟度值获得RUS骨龄 评估结果。 2.根据权利要求1所述的基于联合全局及局部卷积神经网络特征的双骨龄评估方法， 其特征在于， 第一卷积神经网络以多张手骨全图样本作为输入， 以骨龄确定值作为监督对 第一卷积神经网络进行训练得到， 其中骨龄确定值由GP图谱法进行确定 。 3.根据权利要求1所述的基于联合全局及局部卷积神经网络特征的双骨龄评估方法， 其特征在于， 第二卷积神经网络以同一手骨全图中固定生物解剖位置的待评级骨骺区域图 像样本作为输入， 以骨骺区域RUS成熟度确定值作为监督对第二卷积神经网络进行训练得 到， 其中骨骺区域RUS成熟度确定值由RUS计分法进行确定 。 4.根据权利要求1所述的基于联合全局及局部卷积神经网络特征的双骨龄评估方法， 其特征在于， 所述方法还包括： 每一个局部骨骺图依 次输入第二卷积神经网络中并共享网 络权值， 然后同时输入到 GCN网络进 行信息交换和融合， 输出包含上下文信息的深加工局部 特征， 基于深加工特 征进行回归操作得到对应的骨骺区域的RUS成熟度评估分布图。 5.根据权利要求1所述的基于联合全局及局部卷积神经网络特征的双骨龄评估方法， 其特征在于， 骨骺区域图像的获取步骤 包括： 对手骨全图样本进行手部关键点检测， 得到多个根据固定生物解剖位置的关键点坐 标， 根据关键点 坐标裁切出对应的骨骺区域图像。 6.根据权利要求1所述的基于联合全局及局部卷积神经网络特征的双骨龄评估方法， 其特征在于， 获取关键点坐标中的手指掌骨两端关键点， 以手指掌骨两端关键点连线方向权　利　要　求　书 1/2 页 2 CN 114663735 B 2将手骨全图样本旋转至中指掌骨两端关键点连线方向垂直于水平方向的方向获得矫正手 部图像， 其中， 该矫 正手部图像是 标准化的手骨全图； 以关键点 为中心， 根据预设长 宽比例在矫 正手部图像中裁 剪出对应的骨骺区域图像。 7.一种基于多任务卷积神经网络的骨龄 评估装置， 其特 征在于， 包括： 获取模块， 用于获取测试者对应的手骨全图、 性别信息以及从手骨全图中提取出的对 应每个待评级骨骺区域的骨骺区域图像； 模型构建模块， 用于构建联合全局及局部卷积神经网络特征的双骨龄预测模型， 双骨 龄预测模型包含第一卷积神经网络、 第二卷积神经网络和GCN网络， 第一卷积神经网络用于 全图特征提取， 第二卷积神经网络和GCN网络用于局部特征提取， 双骨龄预测模型通过GP图 谱骨龄全局监 督和RUS成熟度局部监 督联合训练框架逐步交替训练获得； 全局特征提取模块， 用于根据双骨龄预测模型的第 一卷积神经网络对手骨全图进行卷 积网络特 征提取操作， 得到手部骨骼全局特 征； 性别特征提取模块， 用于根据双骨龄预测模型的全连接层从性别信 息中提取出目标性 别特征； 局部特征提取模块， 用于根据双骨龄预测模型的局部特征提取网络依次对每个骨骺区 域图像进行 卷积网络特 征提取操作， 得到每 个骨骼区域图像对应的骨骺局部特 征； 融合模块， 用于将目标性别特征与手部全局特征通过第一全连接层进行拼接， 得到第 一拼接特征， 将第一拼接特征输入到全连接层并与拷贝来的所有骨骺局部特征进 行拼接得 到一维融合特 征； GP图谱骨龄评估模块， 用于对融合特征进行回归操作 得到手骨全图的图谱骨龄评估分 布图， 基于图谱骨龄 评估分布图确定GP图谱骨龄 评估结果； RUS骨龄评估模块， 用于将N个骨骺局部特征， 输入GCN网络获得N个深加工局部特征， 将 每个深加工局部特征分别与拷贝的性别特征拼接获得第二拼接特征， 将所有第二拼接特征 进行回归操作得到对应的骨 骺区域的RUS成熟度评估分布图， 基于每个RUS 评估分布图确定 一个RUS成熟度值， 并通过汇总所有RUS成熟度值获得RUS骨龄 评估结果。 8.一种可读存储介质， 其特征在于， 所述可读存储介质中存储有计算机程序， 所述计算 机程序包括用于控制过程以执行过程的程序 代码， 所述过程包括根据权利要求 1至6任一项 所述的基于联合全局及局部卷积神经网络特 征的双骨龄评估方法。权　利　要　求　书 2/2 页 3 CN 114663735 B 3