(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211265611.X (22)申请日 2022.10.17 (71)申请人 重庆邮电大 学 地址 400065 重庆市南岸区南 山街道崇文 路2号 (72)发明人 戴大伟　徐涛　兰丹凤　夏书银　 王国胤　 (74)专利代理 机构 重庆辉腾律师事务所 5 0215 专利代理师 王海军 (51)Int.Cl. G16H 50/30(2018.01) G16H 50/20(2018.01) G16H 30/40(2018.01) G06T 7/00(2017.01) G06V 10/764(2022.01)G06V 10/762(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于图像图表示与图神经网络的骨关 节健康状态评估方法及系统 (57)摘要 本发明属于图神经网络技术领域， 具体涉及 一种基于图像图表示与图神经网络的骨关节健 康状态评估方法及系统； 该方法包括： 获取带有 标签的骨关节图像； 对骨关节图像中的膝盖部位 进行定位， 将每张图像均切分为左膝盖图像和右 膝盖图像； 对每张图像进行图表示， 得到骨关节 图像的节点信息、 边信息和邻接矩阵； 将训练集 输入到基于图神经网络的骨关节健康状态评估 模型中进行训练， 并且对测试集骨关节健康等级 进行评估， 得到最佳评估结果和模型； 使用该模 型评估骨关节 健康等级， 可视化图神经网络在评 估过程中对图像 关注区域的热力图； 本发明评估 精度高， 可解释性好， 实用性高， 具有良好的应用 前景。 权利要求书2页 说明书5页 附图3页 CN 115527677 A 2022.12.27 CN 115527677 A 1.一种基于图像图表示与图神经网络的骨 关节健康状态评估方法， 其特征在于， 包括： 获取骨关节图像并对其进 行图表示， 得到骨关节图像的节点信息、 边信息和邻接矩阵； 将骨 关节图像的节点信息、 边信息和邻接矩阵输入到训练好的基于图神经网络的骨关节健康状 态评估模型中， 得到最佳骨关节健康状态评估结果； 采用训练好的模型对骨关节图像进行 评估时， 可视化图神经网络对骨关节图像关注区域的热力图； 对基于图神经网络的骨关节健康状态评估 模型进行训练的过程包括： S1： 获取带有标签的骨 关节图像， 其中标签为对骨关节健康等级的描述标记； 将带有标 签的骨关节图像划分为训练集和 测试集； S2： 对骨关节图像中的膝盖部位进行定位， 将每张图像均切分为右膝盖图像和右膝盖 图像， 切分后的图像均带有一个标签； S3： 对每张图像进行图表示， 得到图结构信息， 包括节点信息、 边信息以及邻接矩阵； S4： 将训练集中骨关节图像的图结构信息输入到图神经网络进行训练； 将测试集中骨 关节图像的图结构信息输入到模型中进行评估， 得到最佳的骨关节健康状态评估结果和最 佳骨关节健康状态评估 模型。 2.根据权利要求1所述的一种基于图像图表示与图神经网络的骨 关节健康状态评估方 法， 其特征在于， 对每张图像进行图表示的过程包括： 采用图像像素聚类算法将图像聚类成大小不一的矩形结构， 将每个矩形均表示为图的 节点， 若两个矩形有相交部分则表示两个节点存在相连接的边； 计算每张图像 中所有节点的节点信息； 节点信息包括： 中心坐标、 宽度、 平均像素、 最大 像素、 最小像素值、 像素 方差和中心点梯度； 计算每张图像 中的边信 息； 边信息包括两个矩形的像素总和以及两个矩形的重叠像素 占总和像素的比例； 根据每张图像中每 个节点的入度和出度计算每张图像的邻接矩阵。 3.根据权利要求2所述的一种基于图像图表示与图神经网络的骨 关节健康状态评估方 法， 其特征在于， 采用图像 像素聚类算法将图像聚类成大小不 一的矩形 结构的过程包括： 步骤A： 设置像素阈值T、 纯度阈值P和方差阈值V； 步骤B： 在图像中随机选取一个像素点作为中心像素点， 计算中心像素点与其周围像素 点的像素差值t， 若t小于T， 则将该点作为异类点； 步骤C： 根据异类点与周围像素点的比值并根据该比值计算中心像素点与周围像素点 组成区域的纯度p； 计算中心像素点与其周围像素点的像素 方差v； 步骤D： 若p小于P以及v大于V， 将当前区域划分为一个矩形并返回步骤B； 否则， 区域四 周扩张， 重复步骤C； 步骤E： 判断是否存在一个矩阵包 含所有像素点， 若是， 则聚类完成， 否则， 返回步骤B。 4.根据权利要求3所述的一种基于图像图表示与图神经网络的骨 关节健康状态评估方 法， 其特征在于， 计算中心像素点与周围像素点组成区域的纯度的公式为： 其中， p表示纯度， s表示异类点数量， n表示周围像素点数量。 5.根据权利要求1所述的一种基于图像图表示与图神经网络的骨 关节健康状态评估方权　利　要　求　书 1/2 页 2 CN 115527677 A 2法， 其特征在于， 得到最佳的骨关节健康状态评估结果的过程包括： 将骨关节图像的节点信息和边信息通过一个线性层映射到25 6维度， 得到映射矩阵； 将映射矩阵和邻接矩阵输入到六层的带残差结构的图注意力网络中得到图中每个节 点的特征表示， 根据每个节点的特征表示计算图的特征表示； 最后对 该图进行分类， 得到最 佳的骨关节健康状态评估结果。 6.根据权利要求1所述的一种基于图像图表示与图神经网络的骨 关节健康状态评估方 法， 其特征在于， 可视化图神经网络对骨关节图像关注区域的热力图的过程包括： 对骨关节图像进行图表示， 得到骨关节图像的图结构信息； 将图结构信息输入到最佳的模型中进行评估， 得到热力图信息， 根据热力图信息在原 图上画出注意力热力图； 其中， 热力图信息包括每个节点的注意力分数、 原图像上的区域信 息、 节点的位置坐标以及矩形框大小。 7.一种基于图像图表示与图神经网络的骨 关节健康状态评估系统， 其特征在于， 包括： 骨关节图像采集模块、 图表示模块、 评估 模块和解释模块； 所述骨关节图像采集模块用于采集待评估的骨关节图像； 所述图表示模块用于将骨关节图像进行图表示， 获得图结构信息； 所述评估模块用于根据图结构信 息进行骨关节健康状态评估， 得到骨关节健康状态评 估结果； 所述解释模块用于对骨关节图像进行解释， 可视化骨关节图像关注区域的热力图。权　利　要　求　书 2/2 页 3 CN 115527677 A 3