(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211147164.8 (22)申请日 2022.09.19 (71)申请人 齐鲁工业大学 地址 250353 山东省济南市长清区大 学路 3501号 (72)发明人 成金勇　邹庆旭　 (74)专利代理 机构 济南信达专利事务所有限公 司 37100 专利代理师 孙园园 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于CycleGAN和BAFCNN的黑色素瘤分类方 法及系统 (57)摘要 本发明公开了一种基于CycleGAN和BAFCNN 的黑色素瘤分类方法及系统， 属于人工智能技术 领域， 本发 明要解决的技术问题 为如何能够合理 提取原始皮肤图像的病变部位 以及病变周围正 常的皮肤组织， 提高黑色素瘤分类的准确性， 采 用的技术方案为： 该方法是通过条件图像合成数 据集中代表 性不足的样本用于平衡数据集， 并利 用基础辅助融合神经网络提取数据特征， 将提取 的数据特征映射到输出空间上进行黑色素瘤的 处理与分类； 具体如下： 条件图像合成： 使用循环 一致的CycleGAN网络合成条件图像； 提取补丁图 像： 采用像素块差值补丁策略提取补丁图像； 数 据预处理； 特征提取： 使用基础辅助融合神经网 络提取补丁图像以及原始皮肤图像的特征， 并获 取皮损图像的信息； 特 征融合； 指标评估。 权利要求书5页 说明书16页 附图6页 CN 115439695 A 2022.12.06 CN 115439695 A 1.一种基于CycleGAN和BAFCNN的黑色素瘤分类方法， 其特征在于， 该方法是通过条件 图像合成数据集中代表性不 足的样本用于平衡数据集， 并利用基础辅助融合神经网络提取 数据特征， 将提取的数据特 征映射到 输出空间上进行黑色素瘤的处 理与分类； 具体如下： 条件图像合成： 使用循环一 致的CycleGAN网络合成条件图像； 提取补丁图像： 采用像素块差值补丁策略提取补丁图像； 数据预处理： 将原始皮肤图像的尺寸大小调整到224x224， 将补丁图像的尺寸大小调整 到128x128， 并将补丁图像分别进行8倍和4 倍上采样， 再进行albumentati ons操作； 特征提取： 使用基础辅助融合神经网络提取补丁图像以及原始皮肤图像的特征， 并获 取皮损图像的信息； 特征融合： 使用权 重融合策略对基础辅助融合神经网络 输出的特 征进行融合分类； 指标评估： 使用不同的评测指标来评价 黑色素瘤二分类预测结果。 2.根据权利要求1所述的基于CycleGAN和BAFCNN的黑色素瘤分类方法， 其特征在于， 条 件图像合成具体如下： 将数据集中的非黑色素瘤图像和黑色素瘤图像分别定义 为CycleGAN网络的X域和Y域； 将X域的非黑色素瘤图像和Y域的黑色素瘤图像分别送入一对博弈网络进行训练； 其 中， CycleGAN网络包括 生成器GXY、 生成器GYX、 鉴别器DXY和鉴别器DYX； 生成器GXY用于将X域图像合成与Y域样本相似的样本Y'； 生成器GYX用于利用Y域图像条 件合成X域样本的X'域特 征图； 鉴别器DXY用于对Y域样本和样本Y'特征评分； 鉴别器DYX用于对X域样本和X'域特征图评 分； 将对Y域样本和样本Y'特征评分及对X域样本和X'域特征图评分进行加和操作得出最 终的损失； 根据评估结果更新 生成器G， 最终通过 博弈达到平衡状态。 3.根据权利要求1所述的基于CycleGAN和BAFCNN的黑色素瘤分类方法， 其特征在于， 提 取补丁图像具体如下： 将原始皮肤图像的两条中轴线平均分成T块像素块； 计算每个像素块中像素和值； 获取两个相邻像素块的差值， 并判断相邻像素块的差值是否大于阈值 若是， 则说明两个相邻像素块中发生了颜色的明显变化， 即皮损图像的病变边界发生 在这两个相邻像素块之间； 根据皮损图像的病变边界， 选择差值大于 阈值的像素块中远离病变组织的位置作为原 始皮肤图像的切割线； 其中， 原始皮肤图像的切割线获取 具体如下： 将原始皮肤图像的两条中轴线平均划分为T块， 分别为t1、 t2····· tn； 计算每相邻两个块像素和的差值； 从中轴线两端开始寻找差值大于阈值的像素点作为切片图像的边界线， 公式如下： 权　利　要　求　书 1/5 页 2 CN 115439695 A 2其中， L、 R、 U、 D分别表示目标补丁图像距离原始皮肤图像左边缘的距离、 右边缘的距 离、 上边缘的距离及下边缘的距离； W、 H 分别表示原始皮肤图像的宽度和高度； T表 示网格数 量， T越大获得的补丁图像越精细； Ti表示第i个像素块； S(Ti)表示计算第i个像素块的和值； B表示返回两个 像素块之间差值大于阈值的第一个或最后一个 像素块的i 值； 当切片图像的像素特征数量小于原始皮肤图像的四分之一 时， 使用几何切片补丁策略 以弥补样本的缺陷。 4.根据权利要求1所述的基于CycleGAN和BAFCNN的黑色素瘤分类方法， 其特征在于， 基 础辅助融合神经网络包括基础神经网络、 辅助神经网络和融合神经网络； 基础神经网络用于提取补丁图像的特 征； 辅助神经网络包括ACNN_WI网络以及ACNN_O网络； ACNN_WI网络用于输入相对应的全局 图像； ACNN_O网络用于输入补丁图像， 并通过加权集成策 略融合基础神经网络中间层特征 矩阵与ACN N_WI网络中间层特 征矩阵； 融合神经网络用于获得皮损图像局部细粒度信息以及全局信息并输出分类结果； 特征提取具体如下： 通过ACNN_O网络将补丁图像4倍上采样； 具体为： ACNN_O网络包括七个卷积网络层、 BatchNorm2d层以及一个激活函数， 将补丁图像上采样， 再送入包含 7个卷积层的网络中， 得 到输出向量； 将输出向量送入ACNN_WI网络； 其中， ACNN_WI网络包括八个卷积网络层、 BatchNorm2d 层以及一个激活函数； 基础神经网络中间层的输出作为一种全局指导输入ACNN_WI网络， 并结合加权集成策 略得到最终的输出 结果， 加权集成策略的公式如下： 其中， F＝(f1,f2......fn)表示基础神经网络中间特征； G＝(g1,g2......gn)表示辅 助神经网络局部特征； fi表示第i个空间位置的特征向量； gi表示第i个空间位置的特征向 量； 表示将两个特征向量进 行拼接操作； Θ表 示F与G分别与G和F逐像素相乘， 继而对 结果 开方。 5.根据权利要求1所述的基于CycleGAN和BAFCNN的黑色素瘤分类方法， 其特征在于， 融 合策略是更改提取到的特征信息提取到的特征， 并将三个二维特征向量像素级融合操作， 再将其送入网络块中； 融合策略采用权重特征融合， 权重特征融合是将三个特征提取获取的输出向量按照三 个权重值进 行重组， 将结果送入由两个网络块组成的神经网络中分类； 其中， 每个网络块均 由一个全连接层、 Batc hNorm1d以及一个激活层组成， 公式如下：权　利　要　求　书 2/5 页 3 CN 115439695 A 3