(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211264196.6 (22)申请日 2022.10.17 (71)申请人 湖南自兴智慧医疗科技有限公司 地址 410006 湖南省长 沙市长沙高新开发 区延农路72号九天银河产业园1栋8层 (72)发明人 闭世兰　卢沁阳　刘丽珏　穆阳　 彭伟雄　蔡昱峰　 (74)专利代理 机构 长沙市岳麓慧专利代理事务 所(普通合伙) 43270 专利代理师 邹剑峰 (51)Int.Cl. G06T 3/60(2006.01) G06T 7/00(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于深度学习卷积神经网络的人类染色体 图像摆正方法 (57)摘要 本发明公开一种基于深度学习卷积神经网 络的人类染色体图像摆正方法。 本发 明通过对单 条染色体图像标注染色体短臂左端点、 染色体短 臂右端点、 染色体长臂左端点、 染色体长臂右端 点以及着 丝粒中心点五个关键点， 对染色体图像 预处理， 对五个关键点分别生成高斯热力图， 训 练U‑Net网络， 得到染色体关键点位置 预测模型， 将新的待测试单条染色体图像进行处理后输入 染色体关键点位置预测模型进行推理后计算相 应的五个关键点的坐标信息， 利用坐标信息计算 摆正角度后旋转图像， 最后利用前期分类结果， 对同源染色体进行着丝粒对齐操作， 解决了传统 复杂染色体区域分割方法对着丝粒定位效果有 待提升， 难以做到复杂情况 下的适应性的问题。 权利要求书2页 说明书7页 附图2页 CN 115330603 A 2022.11.11 CN 115330603 A 1.一种基于深度学习卷积神经网络的人类染色体图像摆正方法， 其特 征在于， 包括： 获取染色体中期图的单 条染色体图像； 对所述单条染色体图像进行关键点标注， 标注的五个关键点分别是染色体短臂左端 点、 染色体短臂 右端点、 染色体长臂左端点、 染色体长臂 右端点以及着丝粒中心点； 对染色体图像进行 预处理， 对所述五个关键点分别生成高斯热力图； 根据染色体图像和高斯热力图标签训练U ‑Net网络， 得到染色体关键点 位置预测模型； 将新的待测试单条染色体图像经过相同预处理后输入所述染色体关键点位置预测模 型进行推理， 输出待测染色体关键点 位置的预测高斯热力图； 根据预测高斯热力图计算相应的五个关键点的坐标信 息， 利用坐标信 息计算摆正角度 后旋转图像， 最后利用前期分类结果， 对同源染色体进行着丝粒对齐操作。 2.如权利要求1所述的基于深度学习卷积神经网络的人类染色体图像摆正方法， 其特 征在于， 对所述单条染色体图像进行关键点标注， 标注的五个关键点分别是染色体短臂左 端点、 染色体短臂右端点、 染色体长臂左端点、 染色体长臂右端点以及着丝粒中心点之后， 还包括： 对标注后的数据进行审核， 排除脏数据和错 误标注。 3.如权利要求1所述的基于深度学习卷积神经网络的人类染色体图像摆正方法， 其特 征在于， 对染色体图像进行 预处理， 对所述五个关键点分别生成高斯热力图包括： 对标注的五个关键点生成高斯热力图， 每个关键点一张高斯热力图， 高斯热力图半径 为6， 中心点像素为1， 周围像素值中心向外逐渐 变小至0； 将染色体图像由输入的GRAY格式或者BGR格式转为RGB格式， 根据染色体中期图的分割 结果， 去除图像周边与其交叉粘连的其 他染色体和背景杂质干扰； 将高斯热力图尺寸和RGB格式图像统一到固定尺寸128*128， 对统一尺寸后的RGB格式 图像进行归一 化， 归一化使数据服从高斯分布， 归一 化采用图像减去其像素均值除以方差 。 4.如权利要求1所述的基于深度学习卷积神经网络的人类染色体图像摆正方法， 其特 征在于， 根据染色体图像和高斯热力图标签训练U ‑Net网络， 得到染色体 关键点位置预测模 型， 包括： 网络预测输出五张预测的高斯热力图， 计算五张高斯热力图的最大激活值位置， 分别 得到染色体 短臂左端点、 染色体短臂右端点、 染色体长臂左端点、 染色体长臂右端点以及着 丝粒中心点的具体坐标； 计算五个关键点的预测位置相对于真实标注位置的距离误差， 距离误差转换成预测准 确率； 计算预测的高斯热力图与真实的高斯热力图的损 失， 利用损 失进行梯度反向传播， 更 新U‑Net网络权重， U ‑Net网络再次前向推理， 计算新的损失， 依次反复， 直到在验证集中五 个关键点的预测准确率达到最高值不再上升时， 保存U ‑Net网络此刻的权重， 得到最佳权重 的染色体关键点 位置预测模型。 5.如权利要求4所述的基于深度学习卷积神经网络的人类染色体图像摆正方法， 其特 征在于， 计算预测的高斯热力图与真实的高斯热力图的损失， 包括： 使用损失函数JointsMSELoss计算预测高斯热力图与真实高斯热力图的损失， 按通道 计算均方误差损失函数MSEL oss， 再求加权平均值；权　利　要　求　书 1/2 页 2 CN 115330603 A 2式中， 代表第i张预测输出的高斯热力图的坐 标， 代表第i张真实的高斯热力图的坐 标， N为正整数， 代表每张染色体的像素个数， MSELossi是单张高斯热力图的均方误差， 是第 i张高斯热力图的分配权重， 在该网络中设置五个 关键点的权重相等， 都为 1， M为正整 数， 代 表每条染色体的高斯热力图张数， 每条染色体都有5张高斯热力图， 因此M等于 5。 6.如权利要求5所述的基于深度学习卷积神经网络的人类染色体图像摆正方法， 其特 征在于， 计算五个关键点的预测位置相对于真实标注位置的预测准确率， 包括： 使用拉格朗日距离公式计算预测的高斯热力图与真实的高斯热力图之间的距离； 式中， 下标p_i代表第i个预测 点， t_i代表第i个真实标签点， 表示第i个预测点的x 坐标， 第i个预测点的y坐标， 表 示第i个z 真实点的x坐标， 表示第i个真实点的y坐标； w代表图像宽度， h代 表图像高度， M为 正整数， 代 表预测点的个数； 根据五个关键点的预测位置与真实标注位置的拉格朗日距离， 确定预测准确率。 7.如权利要求6所述的基于深度学习卷积神经网络的人类染色体图像摆正方法， 其特 征在于， 根据五个关键点的预测位置与真实标注 位置的拉格朗日距离， 确定预测准确率， 包 括： 判断五个关键点的预测位置与真实标注位置的拉格朗日距离是否小于 0.5； 如果某个关键点的预测位置与真实标注位置的拉格朗日距离小于 0.5， 将所述关键点 记为正确预测的关键点， 反 之记为预测失败； 根据正确的关键点的数量与关键点的总数量的比值， 得到预测准确率。 8.如权利要求1所述的基于深度学习卷积神经网络的人类染色体图像摆正方法， 其特 征在于， 根据预测高斯热力图计算相应的五个关键点的坐标信息， 利用坐标信息计算摆正 角度后旋转图像， 最后利用前期分类结果， 对同源染色体进行着丝粒对齐操作， 包括： 计算五张预测高斯热力图的最大激活值位置， 分别得到染色体短臂左端点、 染色体短 臂右端点、 染色体长臂左端点、 染色体长臂 右端点以及着丝粒的预测位置坐标； 利用染色体短臂左端点、 染色体短臂右端点、 染色体长臂左端点、 染色体长臂右端点的 预测位置坐标， 计算预测染色体摆正所需的旋转角度， 计算旋转矩阵； 根据所述旋转矩阵旋转所述单条染色体图像， 计算旋转后的关键点坐标， 实现染色体 长臂在上短臂在下； 根据旋转后的着丝粒的位置， 和前期分类结果， 实现对同源染色体的着丝粒对齐操作。权　利　要　求　书 2/2 页 3 CN 115330603 A 3