(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211328989.X (22)申请日 2022.10.27 (71)申请人 浙江九烁 光电工程 技术有限公司 地址 310000 浙江省杭州市萧 山区宁围街 道萧山农业大厦1幢9层902室 (72)发明人 徐宝伟　李朝得　亓龙毅　张伶俐　 (74)专利代理 机构 杭州汇和信专利代理有限公 司 33475 专利代理师 吴琰 (51)Int.Cl. G06V 20/17(2022.01) G06V 20/10(2022.01) G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 10/764(2022.01)G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于大数据的城市园林景观照明监测系统 及其方法 (57)摘要 本申请涉及景观照明技术领域， 其具体地公 开了一种基于大数据的城市园林景观照明监测 系统及其方法， 其首先通过无人机采集城市园林 景观照明监控视频以及城市园林景观照明参考 视频， 然后， 使用基于深度学习的深度神经网络 模型作为特征提取器将所述城市园林景观照明 监控视频和所述城市园林景观照明参考视频映 射到高维特征空间中， 并通过计算两者在高维特 征空间中的特征分布之间的差异来判断城市园 林景观照明所呈现的视觉效果是否满足预定要 求的， 通过这样的方式， 对城市园林景观照明系 统的照明效果进行智能监控。 权利要求书3页 说明书11页 附图7页 CN 115527134 A 2022.12.27 CN 115527134 A 1.一种基于大 数据的城市园林 景观照明监测系统， 其特 征在于， 包括： 照明视频采集单元， 用于获取由无人机采集的城市园林景观照明监控视频以及城市园 林景观照明参 考视频； 采样单元， 用于以预定采样频率分别从所述城市园林景观照明监控视频以及所述城市 园林景观照明参 考视频提取多个照明监控关键帧和多个照明参 考关键帧； 双重检测单元， 用于将所述多个照明监控关键帧和多个照明参考关键帧分别通过包含 第一图像编码器和第二图像编码器的双重检测模型以得到照明监控特征图和照明参考特 征图； 特征增强单元， 用于将所述照明监控特征图和所述照明参考特征图分别通过残差双注 意力机制模型以得到增强照明监控特 征图和增强照明参 考特征图； 差分单元， 用于计算所述增强照明监控特征图和所述增强照明参考特征图之间的差分 特征图； 以及 监测结果生成单元， 用于将所述差分特征图通过分类器以得到分类结果， 所述分类结 果用于表示城市园林 景观照明所 呈现的视 觉效果是否满足预定要求。 2.根据权利要求1所述的基于大数据的城市园林景观照明监测系统， 其特征在于， 所述 第一图像编 码器和所述第二图像编 码器具有相同的网络结构， 所述第一图像编 码器和所述 第二图像编码器为使用三维卷积核的卷积神经网络模型。 3.根据权利要求2所述的基于大数据的城市园林景观照明监测系统， 其特征在于， 所述 双重检测单 元， 包括： 第一图像编码子单元， 用于使用所述第 一图像编码器的各层在层的正向传递中分别对 输入数据进行基于所述三 维卷积核的三 维卷积处理、 池化处理和非线性激活处理以由所述 第一图像编码器的最后一层输出 所述照明监控特 征图； 以及 第二图像编码子单元， 用于使用所述第 二图像编码器的各层在层的正向传递中分别对 输入数据进行基于所述三 维卷积核的三 维卷积处理、 池化处理和非线性激活处理以由所述 第二图像编码器的最后一层输出 所述照明参 考特征图。 4.根据权利要求3所述的基于大数据的城市园林景观照明监测系统， 其特征在于， 所述 特征增强单 元， 包括： 第一注意力编码子单元， 用于将所述照明监控特征图分别输入所述残差双注意力 机制 模型的空间注意力模块和通道 注意力模块以得到第一空间注意力图和第一 通道注意力图； 第一注意力融合子单元， 用于 融合所述第 一空间注意力图和第 一通道注意力图以得到 第一多维度注意力图； 第一激活子单元， 用于将所述第一多维度注意力图输入Sigmoid激活函数以得到第一 多维度注意力特 征图； 第一注意力施加单元， 用于计算所述第 一多维度注意力特征图和所述照明监控特征图 的按位置点乘以得到第一注意力特 征图； 以及 第一残差级联单元， 用于计算所述第 一注意力特征图和所述照明监控特征图的按位置 加权和以得到所述增强照明监控特 征图。 5.根据权利要求4所述的基于大数据的城市园林景观照明监测系统， 其特征在于， 所述 特征增强单 元， 还包括：权　利　要　求　书 1/3 页 2 CN 115527134 A 2第二注意力编码子单元， 用于将所述照明监控特征图分别输入所述残差双注意力 机制 模型的空间注意力模块和通道 注意力模块以得到第二空间注意力图和第二 通道注意力图； 第二注意力融合子单元， 用于 融合所述第 二空间注意力图和第 二通道注意力图以得到 第二多维度注意力图； 第二激活子单元， 用于将所述第二多维度注意力图输入Sigmoid激活函数以得到第二 多维度注意力特 征图； 第二注意力施加单元， 用于计算所述第 二多维度注意力特征图和所述照明监控特征图 的按位置点乘以得到第二注意力特 征图； 以及 第二残差级联单元， 用于计算所述第 二注意力特征图和所述照明监控特征图的按位置 加权和以得到所述增强照明参 考特征图。 6.根据权利要求5所述的基于大数据的城市园林景观照明监测系统， 其特征在于， 所述 差分单元， 进一步用于： 以如下公式计算所述增强照明监控特征图和所述照明监控特征图 之间的所述差分特 征图， 包括： 其中， 所述公式为： 其中， Fa表示所述增强照明监控特征图， 表示按位置作差， Fb表示所述照明监控特征 图， 且F表示所述差分特 征图。 7.根据权利要求6所述的基于大数据的城市园林景观照明监测系统， 其特征在于， 所述 监测结果生成单元， 进一步用于： 使用所述分类器以如下公式对所述差分特征图进行处理 以获得第一分类结果； 其中， 所述公式为： O＝softmax{(Wc,Bc)|Project(F)}， 其中Project(F)表示将所述差 分特征图投影为向量， Wc为全连接层的权 重矩阵， Bc表示偏置向量。 8.根据权利要求1所述的基于大数据的城市园林景观照明监测系统， 其特征在于， 还包 括用于对所述双重检测模型、 所述残差双注意力机制模型和所述分类器进 行训练的训练模 块； 其中， 所述训练模块， 包括： 训练数据获取单元， 用于获取训练数据， 所述训练数据包括训练城市园林景观照明监 控视频和训练城市园林景观照明参考视频， 以及， 所述城市园林景观照明所呈现的视觉效 果是否满足预定要求的真实值； 训练采样单元， 用于以预定采样频率分别从所述训练城市园林景观照明监控视频以及 所述训练城市园林景观照明参考视频提取多个训练照明监控关键 帧和多个训练照明参考 关键帧； 训练双重检测单元， 用于将所述多个训练照明监控关键帧和多个训练照明参考关键帧 分别通过所述包含第一图像编码器和第二图像编码器的双重检测模型以得到训练照明监 控特征图和训练照明参 考特征图； 训练特征增强单元， 用于将所述训练照明监控特征图和所述训练照明参考特征图分别 通过所述残差双注意力机制模型以得到训练增强照明监控特征图和训练增强照明参考特 征图； 训练差分单元， 用于计算所述训练增强照明监控特征图和所述训练增强照明参考特征权　利　要　求　书 2/3 页 3 CN 115527134 A 3