(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210637555.1 (22)申请日 2022.06.07 (71)申请人 中国科学技术大学 地址 230026 安徽省合肥市包河区金寨路 96号 (72)发明人 查正军　曹洋　王洋　万增余　 (74)专利代理 机构 安徽省合肥新 安专利代理有 限责任公司 34101 专利代理师 陆丽莉　何梅生 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于事件相机的变光照 动作识别方法 (57)摘要 本发明公开了一种基于事件相机的变光照 动作识别方法， 其步骤包括： 1、 对拍摄得到的事 件数据进行预处理得到事件帧序列； 2、 构建事件 帧去噪增强模块对事件帧进行噪声过滤以及对 比度增强， 输出经过修复的事件帧； 3、 基于局 部‑‑全局演化感知模块， 在特征层面对事件帧进 行边缘相关性加强； 4、 设计中央差分卷积并引入 密度估计核， 提取强度一致的鲁棒特征； 5、 基于 提取特征， 输出对应概率最大的类别标签。 本发 明通过两阶段模 型能有效提升识别精度， 且无需 调整参数即可适用于其他光照场景， 从而优化了 变光照场景的泛化 性能。 权利要求书3页 说明书8页 附图2页 CN 115035597 A 2022.09.09 CN 115035597 A 1.一种基于事 件相机的变光照 动作识别方法， 其特 征在于， 是按如下步骤进行： 步骤1获取训练事 件序列， 并对序列进行 预处理构成事 件帧； 步骤1.1利用事件相机拍摄运动对 象并得到事件序列 其中， ek表示第k个事件， 且ek＝pkδ(t‑tk， x‑xk， y‑yk)， 其中， pk代表第k个事件ek的极性， pk∈{‑1， 1}； tk代表第k个事 件ek的发生时刻； xk和yk分别表示第k个事件ek发生的空间坐标； N表示事件总数； (t， x， y)表 示时空投影坐标； δ 为 示性函数； 步骤1.2根据事件的极性和时空坐标统计事件数量， 从而得到事件帧E∈R2×H×W， 其中， 第i个事件帧 xi， yi为第i个事件帧的空间投影 坐标， pi为第i个事 件帧的极性； H， W分别表示事 件帧的高和宽； 步骤2构建两阶段的事 件识别网络， 包括： 噪声抑制子网络和特 征提取网络； 步骤2.1所述噪声抑制子网络由a层Inception模块构成， 每个Inception模块由并行的 b个卷积层组成， 且每个卷积层的卷积核 大小不同， 将 每个卷积层的卷积结果在通道上拼接 后作为每 个Inception模块的输出； 所述事件帧E(x， y， p)输入所述噪声抑制子网络中进行处理， 并输出与输入同维度的去 噪和对比度增强掩码S， 再利用式(1)获得增强后的事 件帧 步骤2.2构建所述特征提取网络， 包括： 方向感知模块、 l层串联的密度自适应中央差分 卷积模块和最后的全连接层； 步骤2.2.1所述方向感知模块由方向卷积层、 全局池化层和高斯融合模块组成； 步骤2.2.1.1所述方向卷积层包含d个 卷积核， 且任意第j个 卷积核Wj对应一个选定的方 向， 所述卷积核Wj的中心值 为1， 其对应方向值 为‑1； 所述方向卷积层利用式(2)获得第j个方邻域向梯度图 步骤2.2.1.2所述全局池化层利用式(3)对第j个方向梯度图 进行处理， 获得相应全 局演化信息Zj： 式(3)中， GAP表示全局池化操作； 步骤2.2.1.3所述高斯融合模 块利用式(4)对第j个全局演化信息Zj进行归一化处理， 得 到对应归一 化演化信息σj： 式(4)中， softmax表示激活函数； 步骤2.2.1.4所述高斯融合模块利用式(5)对第j个方向梯度图 进行梯度域的边缘 修复， 得到第j个重加权后的梯度图 步骤2.2.1.5所述方向感知模块利用式(6)对所有重加权后的梯度图进行处理， 得到边权　利　要　求　书 1/3 页 2 CN 115035597 A 2缘修复的事 件帧 式(6)中， βj为加权第j个方向梯度图的系数； 步骤2.2.2所述密度自适应中央差分卷积模块对事件信息 进行事件特征的抽取并通 过全连接层输出最终的类别 信息； 步骤2.2.2.1密度自适应的中央差分卷积模块利用式(7)对事件信息 进行二值化处 理， 得到掩码， 再利用式(8)对所述掩码进行池化处 理， 得到局部事 件密度信息； 式(7)和式(8)中， T为设定阈值， p0为事件帧任一像素点的空间位置， R表示p0的邻域， pn 为邻域R中第n个像素点的空间位置相对p0的偏移， |R|代表邻域的面积； M( ·)为掩码； 为边缘修复事件帧； θ(·)为局部事 件密度； 步骤2.2.2.2所述密度自适应的中央差分卷积模块利用式(9)获得事件帧最终的特征 响应f： 式(9)中， w 为中央差分卷积模块中的卷积核； G为平衡参数， 且G∈[0， 1]； 步骤2.2.2.4所述全连接层对所述特征响应f进行处理， 并输出类别预测概率c∈RT， T为 类别数， 并取c中最大值所对应 类别为模型的预测类别； 步骤3构建损失函数； 步骤3.1构建噪声抑制子网络的自监督损失函数， 包括： 噪声抑制损失LN、 增强损失LE和 一致性损失LC； 利用式(12)和式(13)构建所述噪声抑制 损失LN： 式(12)和式(13)中， p表示小于均值的像素点所形成的噪点的空间位置， P表示该空间 位置的集合； 表示增强事件帧， Λ为空间位置p的空间邻域， p ′n为邻域Λ中第n个像素 点的空间位置相对p的偏移， Mean表示均值操作； 利用式(14)和式(15)构建所述增强损失LE： 权　利　要　求　书 2/3 页 3 CN 115035597 A 3