(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211121705.X (22)申请日 2022.09.15 (66)本国优先权数据 202211102073.2 202 2.09.09 CN (71)申请人 南京农业大 学 地址 210031 江苏省南京市浦口区点将台 路40号南 京农业大学浦口校区人工智 能学院 (72)发明人 李泊　徐伟杰　陈天明　 (74)专利代理 机构 南京苏高专利商标事务所 (普通合伙) 32204 专利代理师 柏尚春 (51)Int.Cl. G06V 20/40(2022.01) G06V 40/10(2022.01)G06V 10/20(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/84(2022.01) (54)发明名称 一种基于计算机视觉的母猪哺乳行为细粒 度识别方法 (57)摘要 本发明公开了一种基于计算机视觉的母猪 哺乳行为细粒度识别方法， 步骤如下： 采集哺乳 期母猪和仔猪的俯拍视频； 建立母猪哺乳行为细 粒度分类数据集； 训练母猪哺乳行为细粒度分类 的行为识别模 型； 将长段监控视频输入行为识别 模型， 生成对应的母猪哺乳行为细粒度分类的行 为类别标签序列； 利用母猪哺乳行为的先验知 识， 结合隐马尔可夫模型对母猪哺乳行为细粒度 分类问题进行建模， 利用维特比算法对类别标签 序列进行错误修正， 输出仔猪拱乳、 正在哺乳、 中 断哺乳和非哺乳状态四种类别的分类结果。 本发 明能尽量避免母猪产床限位栏的遮挡干扰， 鲁棒 性强， 且耗费计算资源较小， 运行速度较快， 适用 于实际养殖环境的视频监控系统。 权利要求书1页 说明书6页 附图2页 CN 115497021 A 2022.12.20 CN 115497021 A 1.一种基于计算机 视觉的母猪哺乳行为细粒度识别方法， 其特 征在于， 包括以下步骤： (1)采集哺乳期母猪和仔 猪的俯拍视频； (2)建立母猪哺乳行为细粒度分类数据集； (3)构建并训练双流结构的母猪哺乳行为细粒度分类的行为识别模型； (4)将视频输入训练好的模型， 生成母猪哺乳行为细粒度分类的类别标签序列； (5)对行为类别标签序列进行 预处理； (6)设置隐马尔可夫模型参数， 利用维特比算法进行错误修正， 输出最终的母猪哺乳行 为细粒度分类结果。 2.根据权利要求1所述的一种基于计算机视觉的母猪哺乳行为细粒度识别方法， 其特 征在于， 步骤(2)中所述的数据集包括行为识别模型训练数据集和验证方法可行性的母猪 哺乳视频片段 数据集。 3.根据权利要求1所述的一种基于计算机视觉的母猪哺乳行为细粒度识别方法， 其特 征在于， 所述 步骤(3)具体为： (3.1)构建双流结构的神经网络行为识别模型， 实现对两种不同输入帧率视频的特征 提取； (3.2)将提取 出的特征进行融合； (3.3)将数据集输入构建好的行为识别模型， 进行模型训练。 4.根据权利要求1所述的一种基于计算机视觉的母猪哺乳行为细粒度识别方法， 其特 征在于， 所述 步骤(4)具体为： (4.1)利用训练好的行为识别 模型， 将长视频片段切分为短视频片段输入模型， 逐个保 存短视频片段的行为类别标签序列； (4.2)当整段长 视频切分到结尾， 获得整段视频的行为类别标签序列。 5.根据权利要求1所述的一种基于计算机视觉的母猪哺乳行为细粒度识别方法， 其特 征在于， 步骤(5)中所述的预处 理方式包括对类别标签序列进行 滤波和二 值化处理。 6.根据权利要求1所述的一种基于计算机视觉的母猪哺乳行为细粒度识别方法， 其特 征在于， 所述 步骤(6)具体为： (6.1)结合母猪哺乳细粒度分类四种类别 间的逻辑关系设定隐马尔可夫模型参数， 使 用隐马尔可 夫模型对 母猪哺乳行为细粒度分类问题进行建模； (6.2)将观测值组成的观测序列输入维特比算法， 利用维特比算法进行错误修正并输 出最终的细粒度行为分类标签结果。 7.一种计算机存储介质， 其上存储有计算机程序， 其特征在于， 该计算机程序被处理器 执行时实现如权利要求 1‑6中任一项 所述的一种基于计算机视觉的母猪哺乳行为细粒度识 别方法。 8.一种计算机设备， 包括储存器、 处理器及存储在存储器上并可在处理器上运行的计 算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求 1‑6中任一项 所 述的一种基于计算机 视觉的母猪哺乳行为细粒度识别方法。权　利　要　求　书 1/1 页 2 CN 115497021 A 2一种基于计算机 视觉的母猪哺乳 行为细粒度识别方 法 技术领域 [0001]本发明涉及图像处理、 计算机视觉和交互行为识别， 特别是一种基于计算机视觉 的母猪哺乳行为细粒度识别方法。 背景技术 [0002]根据统计， 在大规模企业化养殖管理的背景下， 仔猪断奶前的死亡率高达10％ ‑ 15％。 而平均每头母猪能提供的健康仔猪数量是影响一个猪场收益的重要因素。 企业都会 尽可能的人工干预母猪的选育与哺乳， 以充分挖掘母猪的繁殖和哺乳潜力， 争取更大 的窝 产仔猪数量。 因此， 为了更好的进行人工干预， 对母猪哺乳行为的数据统计与分析就显得至 关重要。 但是， 通过人工监测的方式记录母猪的哺乳状态， 持续时间等信息， 要求很大 的人 力投入。 并且， 人工记录会导致主观因素对数据的影响。 因此， 在生猪养殖领域利用自动识 别技术对哺乳期母猪行为进行分析已经成为一个重要的课题。 但是目前的技术研究主要集 中在母猪是否哺乳这样的单一识别技术， 忽略了哺乳发起过程和结束过程的信息。 在实际 生产中， 母猪哺乳的发起和结束过程的方式和时长信息， 很大程度上代表了母猪的哺乳习 惯和母性水平的高低。 因此， 将母猪哺乳过程进行细致分类和信息采集对不同品种母猪的 行为分析和猪场养殖中母猪的选择和淘汰有着重要的意 义。 [0003]在动物行为识别领域中， 学者们对基于穿戴式传感器的行为分类技术做了大量的 研究工作。 但生猪佩戴传感器容易发生摩擦受损、 脱落等问题。 随着技术发展， 非接触式的 计算机视觉技术开始被用于母猪的行为和姿态识别。 典型的方法有从图像中提取具体的参 数， 并根据参数制定判断标准， 朱伟兴等人通过对猪只图像采用Otsu阈值分割 方法获取猪 只轮廓， 通过计算轮廓相似度判断猪的行为， 基于此方法申请了专利 《基于轮廓的猪只饮水 行为识别方法》 (公开号CN107437069A)。 此类方法虽然实现了对简单行为姿态的识别， 但在 识别的过程中未考虑猪只时序运动特征， 限制了对复杂行为的识别能力。 此外， 在 母猪行为 识别领域薛月菊和Aqing  Yang等人将深度神经网络和光流法结合， 用于母猪哺乳的行为判 断， 成果发表于国际期刊 《Biosystems  Engineerin g》 与 《Computers  and Electronics  in  Agriculture》 ， 并申请专利 《一种计算机视觉的母猪哺乳行为识别方法》 (公开号 CN109492535A)， 公开了一种利用光流法和卷积神经网络以及支持向量机实现哺乳行为识 别的方法。 但是这类母猪哺乳行为识别方法仅考虑了对是否发生哺乳行为的识别， 无法提 取哺乳过程的详细信息 。 [0004]因此， 提供一种 实现母猪哺乳行为细致化分类， 即细粒度分类识别的方法是本领 域技术人员亟需解决的问题。 发明内容 [0005]发明目的： 本发明的目的是提供一种基于计算机视觉的母猪哺乳行为细粒度识别 方法， 从而利用一种双流结构的神经网络模型初步检测母猪哺乳的细粒度行为类别， 进而 利用隐马尔可夫模型对母猪哺乳行为细粒度分类问题进行建模， 并利用维特比算法修正得说　明　书 1/6 页 3 CN 115497021 A 3