(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211146224.4 (22)申请日 2022.09.20 (71)申请人 上海弘玑信息技 术有限公司 地址 201240 上海市闵行区紫星路58 8号2 幢13层055室 (72)发明人 赵玲玲　张睿　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 钟扬飞 (51)Int.Cl. G06V 30/18(2022.01) G06V 30/19(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06N 20/00(2019.01) (54)发明名称 文档字符识别方法及电子设备 (57)摘要 本申请提供了一种文档字符识别方法及电 子设备， 该方法包括： 边缘计算设备从开发设备 获取模型文件； 模型文件是开发设备对训练得到 的字符检测和识别模型进行轻量化处理得到的； 边缘计算设备创建服务接口， 并通过服务接口接 收前端传输的待识别文档图片； 边缘计算设备根 据模型文件， 对待识别文档图片进行文档字符识 别， 并将字符识别结果返回前端。 该方案借助边 缘计算设备的计算资源， 就可以将数据本地处 理， 达到更快的响应以及避免不必要的数据传 输， 并且使数据隐私得以保障。 权利要求书2页 说明书10页 附图6页 CN 115527213 A 2022.12.27 CN 115527213 A 1.一种文档字符识别方法， 其特 征在于， 包括： 边缘计算设备从开发设备获取模型文件； 所述模型文件是所述开发设备对训练得到的 字符检测 和识别模型进行 轻量化处理得到的； 所述边缘计算设备创建服务接口， 并通过所述服务接口接收前端传输的待识别文档图 片； 所述边缘计算设备根据所述模型文件， 对所述待识别文档图片进行文档字符识别， 并 将字符识别结果返回所述前端。 2.根据权利要求1所述的方法， 其特征在于， 所述边缘计算设备根据所述模型文件， 对 所述待识别文档图片进行文档字符识别， 并将字符识别结果返回所述前端， 包括： 所述边缘计算设备对所述待识别文档图片进行 预处理， 得到预处 理图片； 所述边缘计算设备根据 所述模型文件指示的轻量化后的字符检测模型， 对所述预处理 图片进行文字检测， 得到多个文字块区域； 所述边缘计算设备根据 所述模型文件指示的轻量化后的字符识别模型， 对每个所述文 字块区域进行字符识别， 得到每 个文字块区域对应的文本内容； 所述边缘计算设备将每 个文字块区域对应的文本内容返回所述前端。 3.一种用于文档字符识别的模型文件的生成方法， 其特 征在于， 包括： 开发设备通过样本数据集， 训练得到 字符检测 和识别模型； 所述开发设备对所述字符检测和识别模型进行轻量化处理， 得到参数更少的目标模 型； 所述开发设备对所述目标模型进行模型迁移， 得到与边 缘计算设备适配的模型文件。 4.根据权利要求3所述的方法， 其特征在于， 所述开发设备通过样本数据集， 训练得到 字符检测 和识别模型， 包括： 所述开发设备通过已标注文字块位置的样本数据集， 对DBNet模型进行训练， 得到字符 检测模型； 所述开发设备通过已标注文字块内容的样本数据集， 对初始识别网络进行训练， 得到 字符识别模型； 所述初始 识别网络包括Ef ficientNet模块和Transformer模块。 5.根据权利要求3所述的方法， 其特征在于， 所述开发设备对所述字符检测和 识别模型 进行轻量化处理， 得到参数 更少的目标模型， 包括： 所述开发设备对所述字符检测和识别模型进行模型量化、 模型剪枝或知识蒸馏， 得到 参数更少的目标模型。 6.根据权利要求5所述的方法， 其特征在于， 对所述字符检测和识别模型进行模型剪 枝， 包括： 去除所述字符检测和识别模型的冗余参数， 并重新进行所述字符检测和 识别模型的训 练， 直到模型参数量和模型精度达 到预设目标， 得到参数 更少的目标模型。 7.根据权利要求5所述的方法， 其特征在于， 对所述字符检测和识别模型进行知识蒸 馏， 得到参数 更少的目标模型， 包括： 将所述字符检测和识别模型作为教师模型， 通过所述样本数据集训练比所述教师模型 参数更少的学生模型； 根据所述教师模型对所述样本数据集的字符识别结果以及所述学生模型对所述样本权　利　要　求　书 1/2 页 2 CN 115527213 A 2数据集的字符识别结果， 得到第一损失； 根据所述学生模型对所述样本数据集的字符识别结果以及实际标注结果， 得到第 二损 失； 根据所述第一损失和第二损失， 调整所述学生模型的参数， 直到达到训练目标， 得到参 数更少的目标模型。 8.根据权利要求3所述的方法， 其特征在于， 所述开发设备对所述目标模型进行模型迁 移， 得到与所述 边缘计算设备适配的所述模型文件， 包括： 所述开发设备将所述目标模型的模型定义和模型参数， 导出成通用模型协议文件； 所述开发设备将所述 通用模型协议文件转换成所述 边缘计算设备适配的模型文件。 9.一种文档字符识别方法， 其特 征在于， 包括： 开发设备通过样本数据集， 训练得到 字符检测 和识别模型； 所述开发设备对所述字符检测和识别模型进行轻量化处理， 得到参数更少的目标模 型； 所述开发设备对所述目标模型进行模型迁移， 得到与边 缘计算设备适配的模型文件； 所述边缘计算设备从所述 开发设备获取 所述模型文件； 所述边缘计算设备创建服务接口， 并通过所述服务接口接收前端传输的待识别文档图 片； 所述边缘计算设备根据所述模型文件， 对所述待识别文档图片进行文档字符识别， 并 将字符识别结果返回所述前端。 10.一种电子设备， 其特 征在于， 所述电子设备包括： 处理器； 用于存储处理器可执行指令的存 储器； 其中， 所述处理器被配置为执行权利要求1 ‑2任意一项所述的文档字符识别方法或者 权利要求3 ‑8任意一项所述的用于文档字符识别的模型文件的生成方法。权　利　要　求　书 2/2 页 3 CN 115527213 A 3