基于RK3588的大型卡车盲区目标多图像传感器 融合检测方法研究

随着道路交通安全问题的日益凸显，大型卡车盲区监测的技术需求迫切提升。本文 提出了一种创新的盲区监测方法，结合轻量化深度学习模型和多图像传感器数据融合技 术，针对大型卡车的盲区监测进行了深入研究和实践应用。本文通过引入改进后的
YOLOv5算法，改进损失函数为SIoU，并融合Ghostnet模块、BiFPN和CA注意力机 制，通过结合Bdd100k数据集和自制数据集并进行模型训练和测试，本文提出的改进 YOLOv5算法的模型大小减少了15.9%，检测精度相较原始YOLOv5模型提升了0.6%， 平均精度达到77%，并且推理速度提升4FPS，在保持模型轻量化的基础上还略微提升 了检测精度和推理速度，验证了改进算法的有效性。 
为了应对相机的视觉畸变问题，本文分析了图像传感器的标定方法实现对相机的去 畸变校正，获取了相机内参和畸变系数，提高了图像质量。针对大型卡车盲区视野大的
问题，本文使用ORB算法进行多图像传感器视频流的拼接融合，扩展了盲区检测范围，
提高了系统对复杂交通环境的适应性和鲁棒性。最后搭建实验平台获取相机视频数据，
并将改进后的YOLOv5s算法模型部署在RK3588开发板，为大型卡车的盲区检测提供 了有效的技术方案。 

为了满足大型车辆盲区的目标检测任务，本章首先搭建了实验平台，并使
用V4L2框架进行摄像头数据采集，然后将改进后的目标检测算法YOLOv5模 型转化成RK3588搭载的NPU所支持的模型格式，最后部署在RK3588开发板 上进行推理检测，实现盲区目标检测的移动端嵌入式部署。  
5.1实验平台构建 
本文实验平台的开发板部署端使用的是搭载Ubuntu-20.04.5的信迈科技 RK3588开发板，RK3588是瑞芯微旗下的一款搭载了NPU（neural network processing units）的一款国产处理器架构，其对神经网络的处理进行了 加速并广泛应用于深度学习模型的部署。 
开发板的调试平台为笔记本电脑Windows11操作系统且搭载了 Ubuntu20.04.6的虚拟机，表5.1为实验平台的硬件型号和软件版本。图5.1为实 验所使用的CMOS型号的USB通信接口相机。

在搭建实验平台之前首先进行开发板的调试准备，这一过程是后续相机数
据采集和部署实验的前提。如图5.2所示为RK3588开发板的串口调试硬件线路 连接，首先使用usb to ttl串口转换器连接板子的串口调试引脚（对应RK3588硬 件板上的DEBUG调试接口3Pin-1.25底座引脚），RX连板端TX，TX连板端 RX以及连接GND。

由于实验条件限制，本文实验采用四个手机支架的方式布置摄像头以模拟
大型车辆的盲区检测范围，如图所示5.6为模拟实验平台，模拟实验选择针对大
型卡车潜在的视野盲区，后侧和后右侧（也可以看作是不同位置的前向、侧向
车辆目标）进行摄像头布置。 
四个摄像头通过USB延长传输线连接在开发板的四个USB硬件接口上，开 发板处理器采集摄像头的数据，并通过笔记版电脑进行远程ssh调试。