(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210931056.3 (22)申请日 2022.08.04 (71)申请人 中海电信有限公司 地址 200090 上海市杨 浦区内江路1 1号 (72)发明人 梅涛　王奇云　支家茂　 (74)专利代理 机构 北京海虹嘉诚知识产权代理 有限公司 1 1129 专利代理师 张涛 (51)Int.Cl. G08G 3/02(2006.01) H04N 7/18(2006.01) G06V 20/40(2022.01) G06V 10/82(2022.01) G06V 10/766(2022.01) G06V 10/764(2022.01)G01S 19/14(2010.01) G01S 13/937(2020.01) G01D 21/02(2006.01) (54)发明名称 一种基于视觉增强的内河航道船舶辅助目 标识别系统和方法 (57)摘要 本发明涉及一种基于视觉增强的内河航道 船舶辅助目标识别系统和方法。 通过综合利用 AIS、 雷达、 视频识别技术， 通过目标检测算法获 取船舶的实时位置与方向， 对内河航道上船舶特 别是未安装AIS系统的简易船舶或小型艇船通过 特征标注进行预警， 实现了对船舶周围各类障碍 物及对船舶周围环境实时动态进行数字可视化 目标识别。 本发明提供了一种精准、 实时、 可靠的 内河航道船舶辅助目标识别系统， 能实现船舶辅 助目标识别及有效避碰 。 权利要求书2页 说明书5页 附图2页 CN 115311900 A 2022.11.08 CN 115311900 A 1.一种基于视觉增强的内河航道船舶辅助目标识别系统， 其特征是， 包括信息感知单 元、 数据处 理单元、 信息应用单 元； 所述信息感知单元通过多种信 息接收装置接收航道信 息和船舶信 息， 所述信 息接收装 置包括接收AIS信息的AIS天线、 接收实时视频信息的摄像头、 接收雷达信息的船载雷达天 线、 北斗传感定位器、 船用电功率表、 标定船体倾角的姿态仪、 气象水文信息装置、 交换机； 所述数据处理单元包括信息接收模块、 信息处理模块和储存模块， 信息接收模块接收 由所述信息感知单元发出的航道信息和船舶信息并传递给信息处理模块， 信息处理模块通 过算法综合处理并整合信息： 包括提取所述A IS信息、 所述雷达信息和所述视频信息的近距 离航道内障碍物信息和船舶信息整合成视觉增强信息， 提取所述AIS信息和所述雷达信息 整合成电子海图信息， 提取所述北斗定位传感器、 船用电功率表、 姿态仪、 气象水文装置的 信息整合为船舶行驶所需的船舶行驶基本信息； 所述储存模块储存所述视觉增强信息、 所 述电子海图信息和所述船舶行驶基本信息； 所述信息应用单元包括接收视觉增强信息的视觉增强显示器以及接收电子海图信息 和船舶行驶基本信息的电子海图显示器以及近距离报警模块。 2.由权利要求1所述的一种基于视觉增强的内河航道船舶辅助目标识别系统， 其特征 是， 所述AIS天线为VHF甚高频天线。 3.由权利要求1所述的一种基于视觉增强的内河航道船舶辅助目标识别系统， 其特征 是， 所述雷达天线安装在船舶无反射、 波 束范围内无较大 阴影的位置 。 4.由权利要求1所述的一种基于视觉增强的内河航道船舶辅助目标识别系统， 其特征 是， 所述摄 像头包括目标识别摄 像头组和感知摄 像头组。 5.由权利要求4所述的一种基于视觉增强的内河航道船舶辅助目标识别系统， 其特征 是， 所述目标识别摄像头组为三个固定在船舶上方高处的摄像头， 所述摄像头安装于船艏 并拼接形成船行驶前方的环270度视频图像， 并具有在所述视频画面内识别船体的鹰眼功 能。 6.由权利要求4所述的一种基于视觉增强的内河航道船舶辅助目标识别系统， 其特征 是， 所述感知摄像头组为布置在船舶前后的八个摄像头， 所述 感知摄像头组可获取360度全 景视频图像， 并可进行不同视角切换。 7.由权利要求1所述的一种基于视觉增强的内河航道船舶辅助目标识别系统， 其特征 是， 所述摄 像头的标定距离为3公里， 3公里以外的较小的目标不进行识别。 8.由权利要求1所述的一种基于视觉增强的内河航道船舶辅助目标识别系统， 其特征 是， 所述北斗定位传感器可获取船体经纬度信息， 精度可调节， 航行精度约为10米以内， 靠 泊时精度可以达 到1分米。 9.由权利要求1所述的一种基于视觉增强的内河航道船舶辅助目标识别系统， 其特征 是， 所述交换机用于传岸数据交 互， 靠泊系统通过交换机获取最 新的码头海图信息 。 10.由权利要求1所述的一种基于视觉增强的内河航道船舶辅助目标识别系统， 其特征 是， 所述电子海图显示器可进行航行辅助决策， 包括利用所述电子海图信息和所述船舶行 驶基本信息进行航线优化、 航段优化、 避碰 辅助等辅助决策。 11.由权利要求1所述的一种基于视觉增强的内河航道船舶辅助目标识别系统中一种 视觉增强信息的数据处 理和储存的方法， 其特 征是：权　利　要　求　书 1/2 页 2 CN 115311900 A 2S1： 提取所述AIS天线的近距离航道信息和船舶信息,包括船舶位置， 船舶名称， 船舶重 量， 船舶速度， 船舶航向， 船舶长宽等信号， 通过对所述近距离航道信息和船舶信息进行二 进制解码， 转化为周围船舶的运行数据； 将数据按离本船由近及远的顺序进行排序， 并存储 为当前的数据列表； S2： 提取所述雷达天线的船舶信息包括目标的航行速度， 方向等信号， 并将雷达目标数 据按由近及远的顺序进行排序， 并存 储为当前的数据列表； S3： 提取所述摄像头的近距离船舶信息并传输至处理图像信息的RTSP推流服务器， 通 过机器学习 各类船舶图片， 判断视频识别目标是否为船舶， 并通过目标检测 算法获取船舶 的实时位置与方向， 将视频目标中的位置和方向信息与所述A IS， 雷达数据列表的目标进 行 比对， 确认AIS、 雷达、 视频中都可识别的目标为共有目标， 以及确认AIS、 雷达中无法识别但 视频图像可识别的目标为特 征目标。 12.由权利要求11所述的一种视觉增强信 息的数据处理和储存的方法， 其特征是， 所述 目标检测算法为Yolo算法， 所述Yolo算法的检测网络包括24个提取图像特征的卷积层和2 个预测图像位置和类别概 率值的全连接层， 主 要步骤为： S1： 将输入图像划分为SxS网格。 每个网格检测 “落入”该网格的对象， 如果一个物体的 中心位置的坐标被归类到一个网格中， 这个网格负责找到这个物体； S2： 每个格子会输出B个bounding  box信息， C个物体属于某种类别的概率信息， 所述 bounding  box包含x,y,w,h,con fidence等5个数据值， 所述x和y是当前网格预测的物体边 界框中心位置的坐标， 所述w和h是边界框的宽度和高度， 所述confidence反映当前 bounding box是否包 含物体以及物体位置的准确性， 计算方式如下： confidence＝P(object)*IOU 若boundi ng box包含物体， 则P(object)＝1； 否则P(object)＝0； IOU为预测boundi ng box与物体真实区域的交集 面积。 13.由权利要求11所述的一种视觉增强信 息的数据处理和储存的方法， 其特征是， 所述 Yolo算法进行一次CN N运算， 检测速度为3 0fps。 14.由权利要求11所述的一种视觉增强信 息的数据处理和储存的方法， 其特征是， 对所 述共有目标将目标的名称， 航行数据等通过A IS、 雷达获取的信息以标签的方式显示在所述 视觉增强显示器上， 并对所述特征目标设定为预警船只， 在所述视觉增强显示器上用红框 标记做预警。 15.由权利要求11所述的一种视觉增强信 息的数据处理和储存的方法， 其特征是， 当所 述红框预警目标离自己1 公里以内时， 报警系统进行报警。权　利　要　求　书 2/2 页 3 CN 115311900 A 3