(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210603045.2 (22)申请日 2022.05.30 (71)申请人 腾讯科技 （深圳） 有限公司 地址 518057 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 (72)发明人 侯嘉悦　郭双双　蒋哲兴　龚星　 (74)专利代理 机构 北京派特恩知识产权代理有 限公司 1 1270 专利代理师 崔晓岚　浦彩华 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/40(2022.01) G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于图像识别模型的部件识别方法及装置 (57)摘要 本申请提供一种基于图像识别模型的部件 识别方法及装置， 模型包括： 第一特征提取层、 第 二特征提取层、 第一特征融合层、 第二特征融合 层及部件识别层， 方法包括： 通过第一特征提取 层对包括装 载工具的待识别图像进行特征提取， 得到全局特征图及概率特征图； 通过第一特征融 合层对全局特征图及概率特征图进行特征融合， 得到中间特征图； 通过第二特征提取层对中间特 征图进行特征提取， 得到各部件的边缘特征图、 主体特征图及装 载工具的背景特征图； 通过第二 特征融合层对边缘特征图、 主体特征图及背景特 征图进行特征融合， 得到目标特征图； 基于目标 特征图， 通过部件识别层进行部件识别， 得到部 件识别结果。 如此， 能够提高装载工具上部件的 识别效率及精度。 权利要求书4页 说明书20页 附图20页 CN 115170471 A 2022.10.11 CN 115170471 A 1.一种基于 图像识别模型的部件识别方法， 其特征在于， 所述图像识别模型包括第一 特征提取层、 第二特征提取层、 第一特征融合层、 第二特征融合层以及部件识别层， 所述方 法包括： 通过所述第一特征提取层， 对包括装载工具的待识别图像进行图像特征提取， 得到所 述装载工具对应的全局特征图， 并对所述待识别图像进行概率特征提取， 得到用于指示至 少两个部件间连接概 率的概率特征图； 其中， 所述装载工具包括至少两个部件， 所述至少两个部件具有固定的部件连接关系； 通过所述第一特征融合层， 对所述全局特征图以及所述概率特征图进行特征融合， 得 到中间特 征图； 通过所述第二特征提取层， 对所述中间特征图进行特征提取， 得到各所述部件的边缘 特征图、 各所述部件的主体特 征图以及所述装载工具的背景 特征图； 通过所述第二特征融合层， 对所述边缘特征图、 所述主体特征图以及所述背景特征图 进行特征融合， 得到目标 特征图； 基于所述目标特征图， 通过所述部件识别层， 对所述待识别图像中所述装载工具包括 的各部件进行识别， 得到对应的部件识别结果。 2.如权利要求1所述的方法， 其特征在于， 所述第 一特征提取层包括全局特征提取层以 及概率特征提取层， 所述通过所述第一特征提取层， 对包括装载工具 的待识别图像进行图 像特征提取， 得到所述装载工具对应的全局特 征图， 包括： 通过所述全局特征提取层， 对包括装载工具的待识别图像进行图像特征提取， 得到所 述装载工具对应的全局特 征图； 所述对所述待识别图像进行概率特征提取， 得到用于指示至少两个部件 间连接概率的 概率特征图， 包括： 通过所述概率特征提取层， 对所述待识别图像进行概率特征提取， 得到用于指示至少 两个部件间连接概 率的概率特征图。 3.如权利要求2所述的方法， 其特征在于， 所述通过所述全局特征提取层， 对包括装载 工具的待识别图像进行图像特 征提取， 得到所述装载工具对应的全局特 征图， 包括： 通过所述全局特征提取层， 对包括装载工具的待识别图像进行图像特征提取， 得到至 少两个全局子特 征图； 其中， 各 所述全局子特 征图的尺寸 不同； 对各所述全局子特 征图进行 特征拼接， 得到所述装载工具对应的全局特 征图。 4.如权利要求2所述的方法， 其特征在于， 所述通过所述概率特征提取层， 对所述待识 别图像进行概 率特征提取， 得到用于指示至少两个部件间连接概 率的概率特征图， 包括： 通过所述概率特征提取层， 对所述待识别图像进行特征提取， 得到各所述部件的部件 特征图、 以及用于指示所述至少两个部件间的连接关系的连接性特 征图； 对各所述部件的部件特征图以及所述连接性特征图进行特征融合， 得到用于指示至少 两个部件间连接概 率的概率特征图。 5.如权利要求4所述的方法， 其特征在于， 所述对各所述部件的部件特征图以及所述连 接性特征图进行 特征融合， 得到用于指示至少两个部件间连接概 率的概率特征图， 包括： 针对各所述部件， 对所述部件的部件特征图、 以及所述部件的连接性特征图进行特征 融合， 得到所述部件的中间概 率特征图；权　利　要　求　书 1/4 页 2 CN 115170471 A 2其中， 所述中间概率特征图， 用于指示所述部件与除所述部件外任意一个其它部件间 的连接概 率； 对各所述部件的中间概率特征图进行特征拼接， 得到用于指示至少两个部件 间连接概 率的概率特征图。 6.如权利要求1所述的方法， 其特征在于， 所述通过所述第一特征融合层， 对所述全局 特征图以及所述 概率特征图进行 特征融合， 得到中间特 征图， 包括： 通过所述第一特征融合层， 对所述全局特征图以及所述概率特征图进行乘积处理， 得 到乘积特 征图； 将所述乘积特 征图作为所述中间特 征图。 7.如权利要求1所述的方法， 其特征在于， 所述第 二特征提取层包括装载工具特征提取 层、 部件主体特征提取层以及部件边缘特征提取层， 所述通过所述第二特征提取层， 对所述 中间特征图进行特征提取， 得到各所述部件的边缘特征图、 各所述部件的主体特征图以及 所述装载工具的背景 特征图， 包括： 通过所述部件主体特征提取层， 对所述中间特征图进行特征提取， 得到各所述部件的 主体特征图； 通过所述部件边缘特征提取层， 对所述中间特征图进行特征提取， 得到各所述部件的 边缘特征图； 通过所述装载工具特征提取层， 对所述中间特征图进行特征提取， 得到所述装载工具 的背景特征图。 8.如权利要求1所述的方法， 其特征在于， 所述通过所述第一特征提取层， 对包括装载 工具的待识别图像进行图像特 征提取之前， 所述方法还 包括： 获取通过图像采集装置对所述装载工具进行图像采集所得到的图像， 作为所述待识别 图像。 9.如权利要求1所述的方法， 其特征在于， 所述基于所述目标特征图， 通过所述部件识 别层， 对所述待识别图像中所述装载工具包括的各部件进行识别， 得到对应的部件识别结 果之后， 所述方法还 包括： 基于所述部件识别结果， 对识别出的各部件进行缺陷检测， 得到检测结果； 当所述检测结果表征所述至少两个部件中目标部件存在缺陷时， 输出所述目标部件对 应的缺陷提 示信息。 10.一种图像识别模型的训练方法， 其特征在于， 所述图像识别模型包括第 一特征提取 层、 第二特 征提取层、 第一特 征融合层、 第二特 征融合层以及部件识别层， 所述方法包括： 通过所述第一特征提取层， 对携带标签的、 包括装载工具的图像训练样本进行图像特 征提取， 得到所述装载工具对应的全局特征图， 并对所述图像训练样本进 行概率特征提取， 得到用于指示至少两个部件间连接概 率的概率特征图； 其中， 所述装载工具包括至少两个部件， 所述至少两个部件具有固定的部件连接关系； 通过所述第一特征融合层， 对所述全局特征图以及所述概率特征图进行特征融合， 得 到中间特 征图； 通过所述第二特征提取层， 对所述中间特征图进行特征提取， 得到各所述部件的边缘 特征图、 各所述部件的主体特 征图以及所述装载工具的背景 特征图；权　利　要　求　书 2/4 页 3 CN 115170471 A 3