(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211158142.1 (22)申请日 2022.09.22 (71)申请人 南通大学 地址 226019 江苏省南 通市崇川区啬园路9 号 (72)发明人 徐慧　赵旭　金怀杰　 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/764(2022.01) G06V 10/44(2022.01) (54)发明名称 一种基于摄像的多模态学习状态 识别方法 (57)摘要 本发明涉及学生学习状态分析技术领域， 尤 其涉及一种基于摄像的多模态学习状态识别方 法， 具体步骤如下： S1： 通过摄像头获取学习者的 人脸摄像； S2： 从摄像中提取人脸图像， 进行面部 表情检测， 求表情分； S3： 从摄像中提取头部姿态 图像， 进行头部姿态检测， 求头部姿态分； S4： 从 摄像中提取人眼图像， 进行眼闭次数统计， 求疲 劳度分； S5： 基于S2、 S3、 S4的评分进行 综合评分， 并量化学习状态结果。 本发明通过给出了基于人 脸摄像的情绪、 头部姿态及疲劳度识别的多模态 信息融合的学习状态识别方法， 实施方便， 可信 度高， 且具有实时性， 可自动地将学生状态告知 老师和学生， 帮助教师调整教学策略进行有效教 学， 也可提醒倦怠的学生认真投入学习。 权利要求书2页 说明书5页 附图2页 CN 115471894 A 2022.12.13 CN 115471894 A 1.一种基于摄 像的多模态学习状态 识别方法， 其特 征在于， 具体步骤如下： S1： 通过摄 像头获取 学习者的人脸摄 像； S2： 从摄像中提取 人脸图像， 进行面部表情检测， 求表情分； S3： 从摄像中提取头 部姿态图像， 进行头 部姿态检测， 求头 部姿态分； S4： 从摄像中提取 人眼图像， 进行眼 闭次数统计， 求 疲劳度分； S5： 基于S2、 S3、 S4的评分进行综合评分， 并量 化学习状态结果。 2.根据权利要求1所述的一种基于摄像的多模态学习状态识别方法， 其特征在于， 在步 骤S1中， 具体步骤如下： S101： 周期性 地进行拍摄， 每0.5～1秒取一帧。 3.根据权利要求1所述的一种基于摄像的多模态学习状态识别方法， 其特征在于， 在步 骤S2中， 具体步骤如下： S201： 表情识别， 具体方法为： 使用OpenVI NO中已经训练好的人脸表情模型进行识别； S202： 对一个时间周期内的视频每一帧图片的表情识别结果按情绪分类 计数Ci； S203： 采用“yaahp”的层次分析法软件， 计算情绪得分， 具体步骤如下： Step1： 构造层次模型： 目标层为面部表情得分， 准则层为消极表情、 积极表情和中性情 绪， 子准则层为 k种情绪， 其中消极情绪 k1种， 积极情绪 k2种， 中性表情为1种； Step2： 构造一 致性判断矩阵， 具体操作如下： 2.1点击“判断矩阵 ”页面； 2.2在“判断矩阵 ”页面上， 成对比较两因素针对上一层某一个因素的相对重要性， 手工 输入比较值或点击屏幕给 出的选项得到值； 2.3所有值设置完， 如果出现不一致数据提示， 需修改数据， 直至所有数据均符合一致 性要求； 一 致性<0.1,为符合要求； Step3： 点击计算结果页面， 得到各情绪的权 重值； S204： 计算情绪综合得分 G1， 计算式子如下： 其中， G1是情绪的综合加权评分， M是周期内获取的视频帧数， Ci是对应标签的表情统计 次数， wi是对应的权 重值。 4.根据权利要求1所述的一种基于摄像的多模态学习状态识别方法， 其特征在于， 在步 骤S3中， 具体步骤如下： S301： 计算周期内欧位角的平均值， 方法如下： Step1： 计算头 部上下平均俯仰角 其中， M为周期内获取的视频帧数， αi为第i个视频帧中人脸的俯仰角； Step2： 计算头 部左右平均偏航角 权　利　要　求　书 1/2 页 2 CN 115471894 A 2其中， M为周期内获取的视频帧数， βi为第i个视频帧中人脸的偏航角； S302： 计算头 部姿态得分， 方法如下： Step1： 计算俯仰角得分 Step2： 计算偏航角得分 Step3： 计算头 部综合评分， 其中， G2为头部姿态得分。 5.根据权利要求1所述的一种基于摄像的多模态学习状态识别方法， 其特征在于， 在步 骤S4中， 具体步骤如下： S401： 闭眼检测采用PERCLOS疲劳检测算法的P80标准， 以周期内学生的闭眼比例表示 学生的疲劳度， 计算方法如下： 其中， n为周期内闭 眼次数帧， M是周期内获取的视频帧数； S402： 计算 疲劳度评分 G3＝1‑P 其中， G3为疲劳度得分。 6.根据权利要求1所述的一种基于摄像的多模态学习状态识别方法， 在步骤S5 中， 具体 步骤如下： S501： 采用 “yaahp”的层次分析法软件， 求表情、 头部姿态和疲劳度在学习状态中的权 值； Step1： 层次模型为3层： 目标层为 “学习状态 ”， 准则层为3种特征得分： 面部表情得分、 头部姿态得分、 疲劳度得分， 措施层为： 好、 一般、 差； Step2： 构造一 致性判断矩阵， 得到分别对应3个特 征的权值： v1、 v2、 v3； S502： 学习状态综合得分 权　利　要　求　书 2/2 页 3 CN 115471894 A 3