(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211381561.1 (22)申请日 2022.11.07 (71)申请人 浙江非线数联科技股份有限公司 地址 311800 浙江省绍兴 市诸暨市陶朱街 道艮塔西路13 6号新金融大厦3 35室 (72)发明人 朱忠良　潘云天　许家玲　钱江　 (74)专利代理 机构 北京恒泰铭睿知识产权代理 有限公司 1 1642 专利代理师 胡琳丽 (51)Int.Cl. G06V 20/52(2022.01) G06V 20/59(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) (54)发明名称 基于数字孪生的地铁人流密度实时监测系 统及其方法 (57)摘要 公开了一种基于数字孪生的地铁人流密度 实时监测系统及其方法， 其结合数字孪生技术和 人工智能技术来提取出地铁车厢内的不同大小 的区域范围内的人流分布局部特征， 并基于地铁 车厢内的不同大小的区域范围内的人流分布局 部特征之间的差异来构建相对指标用于表示地 铁车辆内人流密度分布特征， 进一步再利用各个 局部区域的全局上下文关联来进行地铁车厢的 人流密度实时监测。 这样， 将人工智 能技术和数 字孪生技术相互结合 以构建地铁人流密度的实 时监测方案， 能够在车厢的人群密度达到高峰时 及时准确地做出必要措施。 权利要求书2页 说明书14页 附图6页 CN 115439809 A 2022.12.06 CN 115439809 A 1.一种基于数字孪生的地铁人流密度实时监测系统， 其特征在于， 包括： 监控模块， 用 于获取由部署于地铁车厢内的摄像头采集的实时监控图像； 图像优化模块， 用于对所述实 时监控图像进行直方图均衡化预处理和 CLAHE校正颜色以得到优化实时监控图像； 多尺度 感知模块， 用于将所述优化 实时监控图像通过包含并行的第一卷积神经网络和 第二卷积神 经网络的双流网络模型以得到第一尺度特征图和第二尺度特征图； 差分模块， 用于计算所 述第一尺度特征图和所述第二尺度特征图之间的差分特征图； 维度转换模块， 用于将所述 差分特征图的沿通道维度的各个特征矩阵展开为特征向量以得到多个局部差分特征向量； 上下文编 码模块， 用于将所述多个局部差 分特征向量通过基于转换器的上下文编 码器以得 到多个上下文局部差分特征向量； 特征聚合模块， 用于将所述多个上下文局部差分特征向 量进行级联以得到分类特征向量； 特征校正模块， 用于对所述分类特征向量进行特征分布 优化以得到优化分类特征向量； 以及监测结果生成模块， 用于将所述优化分类特征向量通 过分类器以得到分类结果， 所述分类结果用于表 示地铁车厢内的人流密度是否满足预定安 全规范要求； 以及孪生展示模块， 用于 显示所述实时监控图像和所述分类结果。 2.根据权利要求1所述的基于数字孪生的地铁人流密度实时监测系统， 其特征在于， 所 述第一卷积神经网络使用具有第一空洞率的第一卷积核， 所述第二卷积神经网络使用具有 第二空洞率的第二卷积核， 所述第一空洞率 不同于所述第二空洞率。 3.根据权利要求2所述的基于数字孪生的地铁人流密度实时监测系统， 其特征在于， 所 述第一卷积核的尺寸与所述第二卷积核的尺寸相等。 4.根据权利要求3所述的基于数字孪生的地铁人流密度实时监测系统， 其特征在于， 所 述差分模块， 进一步用于： 以如下公式来计算所述第一尺度特征图和所述第二尺度特征图 之间的所述差分特征图； 其 中， 所述公式为： ， 其中， 表示所述第一尺 度特征图， 表示第二尺度特 征图， 表示按位置作差 。 5.根据权利要求4所述的基于数字孪生的地铁人流密度实时监测系统， 其特征在于， 所 述上下文编码模块， 包括： 查询向量构 造单元， 用于将所述多个局部差 分特征向量进 行一维 排列以得到全局差分特征向量； 自注意单元， 用于计算所述全局差分特征向量与所述多个 局部差分特征向量中各个局部差分特征向量的转置 向量之间的乘积以得到多个自注意力 关联矩阵； 标准化单元， 用于分别对所述多个 自注意力 关联矩阵中各个 自注意力 关联矩阵 进行标准化处理以得到多个标准化后自注意力 关联矩阵； 关注度计算单元， 用于将所述多 个标准化后自注 意力关联矩阵中各个标准化后自注意力关联矩阵通过Softmax分类函数以 得到多个概率值； 以及注意力施加单元， 用于分别以所述多个概率值中各个概率值作为权 重对所述多个局部差分特征向量中各个局部差分特征向量进行加权以得到所述多个上下 文局部差分特征向量。 6.根据权利要求5所述的基于数字孪生的地铁人流密度实时监测系统， 其特征在于， 所 述特征校正模块， 进一步用于： 以如下公式对所述分类特征向量进行特征分布优化以得到 所述优化分类特 征向量； 其中， 所述公式为： 权　利　要　求　书 1/2 页 2 CN 115439809 A 2其中 是所述分类特征向量的第 个位置的特征值， 是所述优化分类特征向量的 第 个位置的特 征值,  是以2为底的对数函数值。 7.根据权利要求6所述的基于数字孪生的地铁人流密度实时监测系统， 其特征在于， 所 述监测结果生成模块， 包括： 全连接编 码单元， 用于使用所述分类器的全连接层 对所述优化 分类特征向量进行全连接编码以得到编码分类特征向量； 以及分类结果生成单元， 用于将 所述编码分类特 征向量输入所述分类 器的Softmax分类函数以得到所述分类结果。 8.一种基于数字孪生的地铁人流密度实时监测方法， 其特征在于， 包括： 获取由部署于 地铁车厢内的摄像头采集的实时监控图像； 对所述实时监控图像进行直方图均衡化预 处理 和CLAHE校正颜色以得到优化实时监控图像； 将所述优化实时监控图像通过包含并行的第 一卷积神经网络和第二卷积神经网络的双流网络模型以得到第一尺度特征图和第二尺度 特征图； 计算所述第一尺度特征图和所述第二尺度特征图之间的差分特征图； 将所述差分 特征图的沿通道维度的各个特征矩阵展开为特征向量以得到多个局部差分特征向量； 将所 述多个局部差分特征向量通过基于转换器的上下文编码器以得到多个上下文局部差分特 征向量； 将所述多个上下文局部差分特征向量进行级联以得到分类特征向量； 对所述分类 特征向量进行特征分布优化以得到优化分类特征向量； 以及将所述优化分类特征向量通过 分类器以得到 分类结果， 所述分类结果用于表示地铁车厢内的人流密度是否满足预定安全 规范要求； 以及显示所述实时监控图像和所述分类结果。 9.根据权利要求8所述的基于数字孪生的地铁人流密度实时监测方法， 其特征在于， 所 述计算所述第一尺度特征图和所述第二尺度特征图之间的差分特征图， 包括： 以如下公式 来计算所述第一尺度特征图和所述第二尺度特征图之间的所述差分特征图； 其中， 所述公 式为： ， 其中， 表示所述第一尺度特征图， 表示第二尺度特征 图， 表示按位置作差 。 10.根据权利要求9所述的基于数字孪生的地铁人流密度实时监测方法， 其特征在于， 所述将所述多个局部差分特征向量通过基于转换器的上下文编码器以得到多个上下文局 部差分特征向量， 包括： 将所述多个局部差分特征向量进行一维排列以得到全局差分特征 向量； 计算所述全局差 分特征向量与所述多个局部差分特征向量中各个局部差 分特征向量 的转置向量之 间的乘积以得到多个自注意力关联矩阵； 分别对所述多个自注意力关联矩阵 中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵； 将所述 多个标准化后自注 意力关联矩阵中各个标准化后自注意力关联矩阵通过Softmax分类函数 以得到多个概率值； 以及分别以所述多个概率值中各个概率值作为权重对 所述多个局部差 分特征向量中各个局部 差分特征向量进行加权以得到所述多个上 下文局部 差分特征向量。权　利　要　求　书 2/2 页 3 CN 115439809 A 3