(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211120206.9 (22)申请日 2022.09.15 (71)申请人 常州大学 地址 213164 江苏省常州市武进区滆湖中 路21号 (72)发明人 吕继东　牛亮亮　徐黎明　邹凌　 韩颖　戎海龙　许浩　卢文斌　 孙晓琴　王凌云　杨洋　 (74)专利代理 机构 常州市英 诺创信专利代理事 务所(普通 合伙) 32258 专利代理师 张秋月 (51)Int.Cl. G06V 10/80(2022.01) G06V 20/52(2022.01) G06V 20/70(2022.01)G06T 7/90(2017.01) G06T 7/11(2017.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 一种基于多重特征融合的果园幼果生长姿 态视觉辨识方法 (57)摘要 本发明涉及图像检测技术领域， 尤其涉及一 种基于多重特征融合的果园幼果生长姿态视觉 辨识方法， 包括采集果园幼果数据图像， 对图像 中的目标检测框进行调整； 通过标注的数据集进 行格式转换， 对转换后的数据集进行裁剪预处 理； 构建幼果生长姿态特征提取模型， 并采用Bi ‑ FPN网络对特征提取模 型的浅层特征图与高层特 征图进行深度融合； 采用姿态预测层对融合处理 后的特征图进行姿态框回归， 并对目标区域进行 提取； 通过训练数据集对模型进行训练， 保存姿 态框的坐标， 计算幼果生长姿态角度。 本发明在 实现智能套袋的机械化、 自动化以及智能化以及 保证幼果的适时高效率套袋、 降低套袋作业费用 等方面提供有效的解决方案 。 权利要求书2页 说明书6页 附图2页 CN 115496979 A 2022.12.20 CN 115496979 A 1.一种基于多重特征融合的果园幼果生长姿态视觉辨识方法， 其特征在于， 包括以下 步骤： 步骤一、 采集果园幼果数据图像， 对图像中的目标检测框进行调整， 并对图像进行增强 和标注； 步骤二、 通过 标注的数据集进行格式转换， 对转换后的数据集进行裁 剪预处理； 步骤三、 构建幼果生长姿态特征提取模型， 并采用Bi ‑FPN网络对特征提取模型的浅层 特征图与高层特 征图进行深度融合； 步骤四、 采用姿态预测层对融合处理后的特征图进行姿态框回归， 并对目标区域进行 提取； 步骤五、 通过训练数据集对模型进行训练， 保存姿态框的坐标， 计算幼果生长姿态角 度。 2.根据权利要求1所述的基于多重特征融合的果园幼果生长姿态视觉辨识方法， 其特 征在于， 目标检测框进行调整是通过rolab elImg将水平框替换成带有角度参数的姿态框， 其中， 姿态框包括目标中心点 坐标、 长宽以及倾 斜角度。 3.根据权利要求1所述的基于多重特征融合的果园幼果生长姿态视觉辨识方法， 其特 征在于， 格式转换 是按照姿态框的长边与x轴顺时针形成的夹角表示 果实的倾 斜角度。 4.根据权利要求1所述的基于多重特征融合的果园幼果生长姿态视觉辨识方法， 其特 征在于， 特征提取模型包括依次连接的Focus模块、 特征提取模块P1、 CBL模块、 特征提取模 块P2、 CBL模块、 特征提取模块P3、 CBL模块、 特征提取模块P4、 CBL模块和特征提取模块P5； 其 中， 特征提取模块P2由2个BottleneckCSP模块+CA注意力机制模块组成， 特征提取模块P3、 P4由8个BottleneckCSP模块+CA注意力机制模块组成， 特征提取模块P5由SPP模块、 2个 BottleneckCS P模块+CA 注意力机制模块组成。 5.根据权利要求4所述的基于多重特征融合的果园幼果生长姿态视觉辨识方法， 其特 征在于， 利用CA注 意力机制模块的Coordinate信息嵌入对输入的特征图沿水平和垂直两个 方向进行全局池化， 获取 水平与垂直两个方向的特 征图； 在Coordinate  Attention生成转换中将两个特征图拼接在一起， 通过卷积变换得到特 征图F1， 进行归一 化得到特 征图f； 将特征图f沿水平与垂直分解为fw∈RC/r×W和fh∈RC/r×H， r为缩减率， 分别对fw和fh进行1 ×1的卷积得到特征图Fw和Fh， 使用sigmoid激活函 数， 分别得到特征图在两个空 间方向的注 意力权重gw和gh； 将原始特征图与在水平和垂直方向上的注意力 权重相乘， 将水平和垂直两个方向的注 意力同时应用于 输入的特 征。 6.根据权利要求1所述的基于多重特征融合的果园幼果生长姿态视觉辨识方法， 其特 征在于， 采用Bi ‑FPN网络对 特征提取模 型的浅层特征图与高层特征图进 行深度融合具体包 括： 首先， P5特征层经过上采样与P4特征层进行融合； 其次， 将得到的融合特征信息再次经 过上采样与P3特征层二次融合； 最后， 将第二次融合得到的特征信息经过上采样与P2特征 层三次融合， 完成自上而 下的特征信息融合； 同理， 首先将三次融合得到的信息经过下采样 与二次融合得到的特征信息进行融合； 其次， 将 融合信息再经过下采样与第一次融合得到权　利　要　求　书 1/2 页 2 CN 115496979 A 2的特征信息进行融合； 最后， 再将融合信息经 下采样与P5特 征图进行融合。 7.根据权利要求1所述的基于多重特征融合的果园幼果生长姿态视觉辨识方法， 其特 征在于， 姿态预测层的head结构新增一个角度预测通道， head检测层的通道维度为3 ×(C+5 +180)， 其中， 3表 示每个网格预设3种长宽比例的锚框， 每个锚框负责预测C个类别与边框参 数信息(x， y， ， w， h， pr)； 类别预测通道(C0,C1,…,Cn)， pr表示预测框的前景置信度， 并且 每个 锚框将多出来 一个180通道的角度预测。 8.根据权利要求1所述的基于多重特征融合的果园幼果生长姿态视觉辨识方法， 其特 征在于， 姿态框的坐标包括四个顶点坐标， 长边与x轴顺时针形成的夹角为幼 果的生长姿态 角度， 计算公式为： 其中， (x1,y1)、 (x2,y2)、 (x3,y3)和(x4,y4)为四个顶点 坐标。权　利　要　求　书 2/2 页 3 CN 115496979 A 3