(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210961141.4 (22)申请日 2022.08.11 (71)申请人 北京交通大 学 地址 100044 北京市海淀区西直门外上园 村3号 (72)发明人 郭保青　余祖俊　朱力强　阮涛　 王尧　王耀东　 (74)专利代理 机构 北京市商 泰律师事务所 11255 专利代理师 毛燕生 (51)Int.Cl. G06V 20/52(2022.01) G06V 40/10(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 10/40(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 20/40(2022.01) (54)发明名称 基于姿势迁移的铁路行人入侵的图像序列 生成方法及系统 (57)摘要 本发明实施例提供了一种基于姿势迁移的 铁路行人入侵的图像序列生成方法及系统， 包 括： 获取非铁路场景中的行人姿态序列作为目标 姿态序列； 建立模型并训练， 得到姿态迁移行人 生成模型， 姿态迁移行人生 成模型包括生成器和 判别器， 判别器包括外观判别器和姿态判别器； 将预定行人外观图像、 目标姿态序列输入姿态迁 移行人生成模型， 得到数个目标行人图像； 以及 将目标行人图像合成到铁 路场景图像中， 生成铁 路行人入侵图像， 自动完成入侵行人图像的自动 标注， 并将包含目标动作序列的铁路行人入侵图 像生成铁路场景 行人入侵视频序列。 权利要求书2页 说明书11页 附图5页 CN 115376064 A 2022.11.22 CN 115376064 A 1.一种基于姿势迁移的铁路行 人入侵的图像序列生成方法， 其特 征在于， 包括： 获取非铁路场景中的行 人姿态序列 作为目标姿态序列； 建立模型并训练， 得到姿态迁移行人生成模型， 所述姿态迁移行人生成模型包括生成 器和判别器， 所述判别器包括外观判别器以及姿态判别器； 将预定行人外观图像、 所述目标姿态序列输入所述姿态迁移行人生成模型， 得到数个 目标行人图像； 以及 将所述目标 行人图像合成到 铁路场景图像中， 生成铁路行 人入侵图像。 2.根据权利要求1所述的方法， 其特 征在于， 方法还 包括： 将数个所述铁路行人入侵图像按照所述目标姿态序列， 生成铁路场景行人入侵视频序 列。 3.根据权利要求1所示的方法， 其特 征在于， 方法还 包括： 对所述铁路行 人入侵图像进行自动标注， 生成铁路场景 行人入侵的标注图像。 4.根据权利要求3所述的方法， 其特征在于， 在将所述目标行人图像合成到所述铁路场 景图像后， 记录所述铁路行人入侵图像中的行人的位置坐标和行人框的高度数据和宽度数 据， 得到所述铁路场景 行人入侵的所述标注图像。 5.根据权利要求1所述的方法， 其特征在于， 提取公共数据集的行人姿态数据， 将对应 的行人图像与提取的所述行人姿态数据作为训练集对所述模型进 行训练， 得到参数最优的 所述姿态迁移行 人生成模型。 6.根据权利要求5所述的方法， 其特 征在于， 训练方法包括： 提取所述训练集中的行 人图像样本以及所述行 人图像样本对应的行 人姿态； 将提取出的所述行人图像样本以及所述行人图像样本对应的行人姿态以及预先设定 的目标姿态输入生成器， 根据所述预先设定的目标姿态以及所述行人图像样本的外观， 生 成具有所述输入的行 人图像外观和目标姿态的行 人姿态迁移图像； 所述判别器对所述行 人姿态迁移图像进行判别； 以及 达到预定损失值时， 得到参数最优的所述姿态迁移行 人生成模型。 7.根据权利要求6所述的方法， 其特 征在于， 所述外观判别器用于判断生成的行人图像的外观是否与输入行人图像的行人外观一 致， 所述姿态判别器用于判断生成的行 人姿态是否与目标姿态一 致； 所述外观判别器包括： 拼接层， 用于对输入的所述行人姿态迁移图像和所述目标行人姿态、 所述目标图像和 所述目标 行人姿态分别拼接后， 得到拼接向量； 多个下采样模块， 用于对所述 拼接向量进行 下采样， 得到下采样后的特 征向量； 以及 多个残差模块， 用于对所述下采样后的特 征向量进行 特征提取， 得到判别特 征， 其中， 所述外观判别器 基于所述判别特 征完成判别。 8.一种基于姿势迁移的铁路行 人入侵的图像序列生成系统， 其特 征在于， 包括： 姿态提取模块， 用于获取非铁路场景中的行人姿态序列， 得到目标姿态序列， 并提取公 共数据集的行 人姿态数据， 将与所述行 人姿态数据对应的行 人图像生成数据集； 姿态迁移行人生成模块， 用于建立模型， 并通过所述行人姿态数据对应的所述行人图 像生成的所述数据集对所述模型进行训练， 得到参数最优的姿态迁移行人生成模型， 并将权　利　要　求　书 1/2 页 2 CN 115376064 A 2预定行人外观图像、 所述 目标姿态序列输入所述姿态迁移行人生成模型， 得到数个目标行 人图像； 以及 铁路场景入侵行人图像合成模块， 用于将所述目标行人图像插入铁路场景图像中， 生 成铁路行 人入侵图像。 9.根据权利要求8所述的系统， 其特 征在于， 还 包括： 铁路场景入侵视频生成模块， 用于将数个铁路场景入侵行人图像合成模块生成的所述 铁路行人入侵图像按照所述目标姿态序列， 生成铁路场景入侵 视频序列。 10.根据权利要求8所述的系统， 其特 征在于， 还 包括： 行人入侵 图像自动标注模块， 用于对所述铁路行人入侵 图像进行标注， 生成铁路场景 行人入侵的标注图像。权　利　要　求　书 2/2 页 3 CN 115376064 A 3