(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211380122.9 (22)申请日 2022.11.05 (71)申请人 松立控股集团股份有限公司 地址 266000 山东省青岛市 市南区宁 夏路 288号软件园6号楼1 1层 (72)发明人 刘寒松　王国强　王永　刘瑞　 (74)专利代理 机构 青岛高晓专利事务所(普通 合伙) 37104 专利代理师 黄晓敏 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/10(2017.01) G06V 20/40(2022.01) G06V 20/52(2022.01) G06T 3/00(2006.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种全景监控平面 化展示方法 (57)摘要 本发明属于视频平 面化展示技术领域， 涉及 一种全景监控平面化展示方法， 先通过全局投影 和局部投影相结合的方式生 成物体粗定位信息， 基于粗定位信息逆投影生 成的精确定位信息， 再 将位置精细化后引入物体分割网络， 将物体从背 景区域切割出来， 从而实现前景分割物体贴到全 局投影的目的， 为弥补因贴图导致的错位和缺 失， 引入基于时空GAN网络的细 节补充网络， 提升 全景监控平 面化的实际应用性， 实现智慧城市安 全监控的全覆盖 。 权利要求书2页 说明书6页 附图1页 CN 115423812 A 2022.12.02 CN 115423812 A 1.一种全景监控平面 化展示方法， 其特 征在于， 具体过程 为： （1） 构建全景监控平面化展示数据集： 采集城市道路的全景摄像头监控视频段构建全 景监控平面 化展示数据集； （2） 城市全景监控投影： 基于步骤 （1） 构建的全景监控平面化展示数据集， 采用等距投 影和六面体投影相结合的方式对视频帧进行投影； （3） 基于等距投影和六面体投影结合的物体检测： 构建以等距投影为输入的分支和以 六面体投影为输入的分支， 分别用两个分支进行物体 检测； （4） 物体检测结果修正： 对步骤 （3） 得到的检测结果中心点采用逆投影的方式进行修正 得到物体中心点球面 坐标， 缓解物体的拉伸形变问题； （5） 基于物体大小的自适应范围搜寻： 针对等距 投影和六面体投影两种投影形式， 基于 物体大小的自适应范围搜寻， 采用邻域均值的方式， 先在当前中心点范围内搜寻与当前坐 标同属于同一个物体的中心点的坐标， 再合并为同一个坐标点， 得到球面 坐标； （6） 基于物体检测中心点的局部区域投影：  对步骤 （5） 得到的球面坐标， 进行二次投 影， 得到物体的图像块； （7） 基于图像块的物体分割： 将步骤 （6） 得到的图像块输入物体分割网络进行物体分 割， 得到物体的裁 剪结果和物体的位置信息； （8） 基于图像块物体分割的ERP贴图： 将步骤 （7） 得到物体的裁剪结果和物体的位置信 息贴到ERP上得到ERP贴图； （9） 基于GAN网络 的贴图错位区域修复： 采用GAN网络将步骤 （7） 得到 的ERP贴图中缺失 区域填充， 得到产生全景内容的平面 化展示结果； （10） 基于全景内容平面化的物体检测精细化： 将平面化展示的结果用来训练全景视频 物体检测网络， 提升物体 检测网络的性能。 2.根据权利要求1所述全景监控平面 化展示方法， 其特 征在于， 步骤 （2） 的投影结果 为： 和 分别表示ERP投影和CMP投影结果， 和  分别 表示两种投影方式，  表示来自于视频V的第i帧图片， j表示六面体投影面的索引。 3.根据权利要求2所述全景监控平面化展示方法， 其特征在于， 步骤 （3） 两个分支的详 细定义为： 分别表示等距投影物体检测网络 和六面体投影 物体检测网络 的输出， j表示面的索引， 六面体投影共有6个面， j=1 ‑>6， 六面体投影 物体检测网络 总共包含6个网络， 网络的参数共享， 其中等距投影物体检测网络权　利　要　求　书 1/2 页 2 CN 115423812 A 2和六面体投影物体 检测网络 均采用YOLO ‑V5作为主干网络 。 4.根据权利要求3所述全景监控平面 化展示方法， 其特 征在于， 步骤 （4） 的具体过程 为： 通过坐标 获得锚框的中心点坐标 和 ， 而相应的 同样可以获得相应的锚框的中心点 坐标 和 ， 基于 和 得到球面 坐标： 同理得到六面体投影在全景视频中的物体中心点的位置 。 5.根据权利要求4所述全景监控平面化展示方法， 其特征在于， 步骤 （6） 所述投影方式 采用自适应范围的方式。 6.根据权利要求5所述全景监控平面化展示方法， 其特征在于， 步骤 （7） 所述物体分割 网络采用DAVIS数据集和Youtube ‑Objects数据集进行训练， 物体分割网络包含编码网络 VggNet和网络分割输出模块。权　利　要　求　书 2/2 页 3 CN 115423812 A 3