(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210269101.3 (22)申请日 2022.03.18 (71)申请人 杭州慧田科技有限公司 地址 310012 浙江省杭州市西湖区三墩镇 西园八路2号3幢5 09室 (72)发明人 赵明高　包建义　钱克勤　 (74)专利代理 机构 杭州裕阳联合专利代理有限 公司 33289 专利代理师 高明翠 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/25(2022.01) G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) A61B 5/16(2006.01) A61M 5/172(2006.01) A61M 5/168(2006.01) (54)发明名称 具有情绪识别功能的病床终端 (57)摘要 本发明公开了一种具有情绪识别功能的病 床终端， 包含： 护理呼叫模块、 输液监护模块和情 绪识别模块； 情绪识别模块包含： 图像采集单元， 用于采集患者的图像信息； 图像识别单元， 用于 识别图像信息中的面部区域； 图像切割单元， 用 于从面部区域中切割出人脸ROI； 图像提取单元， 用于从人脸ROI中提取出多个面部活动单元； 图 像灰度化单元， 用于对人脸ROI进行灰度化处理 得到灰度图； 边缘提取单元， 用于从灰度图中提 取出人脸图像边缘； 情绪识别单元， 用于接收面 部活动单元、 灰度图和人脸图像边缘并进行处理 从而输出情绪类别。 本发明的具有情绪识别功能 的病床终端， 能够准确的识别患者的情绪， 从而 有利于医生的对患者的治 疗。 权利要求书2页 说明书5页 附图2页 CN 114639149 A 2022.06.17 CN 114639149 A 1.一种具有情绪识别功能的病床终端， 其特 征在于， 包 含： 护理呼叫模块， 用于供患者操作以连接 至护士工作站并进行语音交 互； 输液监护模块， 用于监控患者的输液状况； 情绪识别模块， 用于识别患者的情绪状态； 所述情绪识别模块包 含： 图像采集单 元， 用于采集患者的图像信息； 图像识别单 元， 用于识别所述图像信息中的面部区域； 图像切割单 元， 用于从所述 面部区域中切割出 人脸ROI； 图像提取 单元， 用于从所述人脸ROI中提取 出多个面部活动单 元； 图像灰度化单 元， 用于对所述人脸ROI进行 灰度化处 理得到灰度图； 边缘提取单元， 用于从所述灰度图中提取 出人脸图像边 缘； 情绪识别单元， 用于接收所述面部活动单元、 所述灰度图和所述人脸图像边缘并进行 处理从而输出情绪类别。 2.根据权利要求1所述的具有情绪识别功能的病床终端， 其特 征在于， 所述情绪识别单 元包含： 第一拼接子单元， 用于将所述灰度图和所述人脸图像边 缘进行拼接； VGG19卷积神经网络单元， 用于接收所述第一拼接子单元的拼接结果并进行特征提取 得到情绪特 征； 特征处理单元， 用于将所述VGG19卷积神经网络单元提取到的情绪特征展平为1维数 组； 第二拼接子单元， 用于将所述面部活动单元和所述特征处理单元处理后的情绪特征进 行拼接； 分类器单元， 用于接收所述第 二拼接子单元的拼接结果并对其进行处理后得到情绪类 别。 3.根据权利要求2所述的具有情绪识别功能的病床终端， 其特 征在于， 所述分类 器单元由两层全连接层与一层ReLU激活函数层构成。 4.根据权利要求1所述的具有情绪识别功能的病床终端， 其特 征在于， 所述图像提取单元使用OpenFace工具从所述人脸ROI中提取17个面部运动单元， 17个 面部运动单元分别为AU01,AU02,AU04,AU05,AU06,AU07,AU09,AU10,AU12,AU14,AU15, AU17,AU20,AU23,AU25,AU26和AU45 。 5.根据权利要求1所述的具有情绪识别功能的病床终端， 其特 征在于， 所述图像灰度化子模块 通过下述公式对所述人脸ROI进行 灰度化处 理得到灰度图： Gray＝0.2 99*R+0.587*G+0.1 14*B 其中， R,G,B分别为RGB图像的红、 绿、 蓝通道， Gray为灰度化后的图像。 6.根据权利要求1所述的具有情绪识别功能的病床终端， 其特 征在于， 所述边缘提取子模块通过canny算法从所述灰度图中提取出所述人脸 图像边缘， 在所 述边缘提取子模块通过canny算法从所述灰度图中提取出所述人脸图像边缘的过程中， 上 下阈值分别设置为10 0和50。 7.根据权利要求1所述的具有情绪识别功能的病床终端， 其特 征在于，权　利　要　求　书 1/2 页 2 CN 114639149 A 2所述情绪识别模块还 包含： 可视化显示单元， 用于显示患 者的人脸图像以及所述情绪识别单元分析得到的情绪类 别。 8.根据权利要求1所述的具有情绪识别功能的病床终端， 其特 征在于， 所述输液监护模块包 含： 滴速监控单 元， 用于监控输液设备以判断当前的输液滴速； 智能预警单元， 用于根据所述滴速监控模块检测到的输液滴速以及 当前输液的药液类 别判断当前的输液滴速是否合 适； 全程检测单元， 用于根据所述滴速监控模块检测到的输液滴速以及 当前输液的药液类 别进行实时计算得到剩余药 液容量和剩余时间。 9.根据权利要求8所述的具有情绪识别功能的病床终端， 其特 征在于， 所述输液监护模块还 包含： 自动切断单 元， 用于在所述剩余时间达 到阈值时自动切断药 液供给。 10.根据权利要求9所述的具有情绪识别功能的病床终端， 其特 征在于， 所述输液监护模块将输液滴速、 剩余药液容量和剩余时间实时发送至后护士站服务 器； 所述护士站服 务器将接收到的信息发送至护士工作站大屏进行显示； 所述护士站服 务器在所述剩余时间达 到阈值时发送预警信号至护士站预警设备； 所述护士站预警设备发出 预警信号。权　利　要　求　书 2/2 页 3 CN 114639149 A 3