Traveling Obstacle Detection in Open-Pit Mine Area Based on Improved YOLOv8
GU Qinghua,1,2, ZHOU Qiong,1,2, WANG Dan1,2
1.School of Resources Engineering, Xi’an University of Architecture and Technology, Xi’an 710055, Shaanxi, China
2.Xi’an Key Laboratory of Intelligent Industry Perception, Computing and Decision Making, Xi’an University of Architecture and Technology, Xi’an 710055, Shaanxi, China
露天矿区场景复杂,行车障碍物检测受扬尘和颗粒物等粉尘噪声干扰严重,难以准确识别障碍物,尤其是光线较差的夜间,不利于做出正确决策,从而影响无人作业的安全性和整体效率。针对以上问题,提出了一种基于YOLOv8n模型的露天矿区行车障碍物检测算法YOLOv8n-Enhanced。该算法主要从3个方面进行了改进,具体包括:首先,针对受粉尘噪声干扰严重和夜间光线不足的问题,提出了C2fCA模块结构,提高了模型特征提取能力;其次,使用轻量级卷积技术GSConv和VoV-GSCSP模块,减轻模型复杂性,实现检测器更高的计算成本效益;最后,使用WIOU损失函数,提高了模型泛化能力。试验结果表明:改进算法在保持实时性的前提下,可将YOLOv8n的平均精度(mean Average Precision,mAP)分别提高1.8%和2.6%,实现白天与夜间场景下不同尺度的障碍物识别。
关键词:露天矿区
;
无人驾驶
;
障碍物检测
;
YOLOv8检测模型
;
矿区复杂场景
Abstract
The open-pit mining area is a complex scene,and the traveling obstacle detection is seriously interfered by dust noise such as dust and particles,which makes it difficult to accurately identify obstacles,especially at night when the light is poor,which is not conducive to correct decision-making,thus affecting the safety and overall efficiency of unmanned operation.In view of the above problems,a YOLOv8n-based YOLOv8n-Enhanced algorithm for detecting traveling obstacles in open-pit mining areas was proposed.The algorithm is mainly improved in three aspects:Firstly,for the problems of serious interference by dust noise and poor light at night,a C2fCA module structure was proposed instead of the original C2f module,which utilizes the shared weights and context-aware weights to enhance the dependency relationship between different locations of the image,mitigate the noise interference,and improve the feature extraction ability of the model.Secondly,to trade-off the accuracy and real-time performance of the open-pit obstacle detection model,the Neck end of the model was reconstructed,and the lightweight convolutional techniques GSConv and VoV-GSCSP modules were used to reduce the complexity of the computation and network structure,and realize a higher computational cost-effectiveness of the detector.Finally,for the situation that there is a large gap between the quality of data in the open-pit mining area,especially at night when there is insufficient light,and low-quality data will affect the ability of the model to learn features in training,the loss function was optimized to solve the problem of the bounding box regression equilibrium between the samples of different qualities,to improve the ability of the model to generalize and accelerate the convergence.The experimental results show that the improved algorithm in this paper reduces the computational GFLOPs of the model by about 8.5% and the number of parametric params by about 3% while maintaining the real-time performance,and improves the mean Average Precision(mAP) of the YOLOv8n by 1.8% and 2.6% in daytime and nighttime scenarios,respectively,and realizes obstacle recognition at different scales in daytime and nighttime scenes.
Keywords:open-pit mining area
;
unmanned driving
;
obstacle detection
;
YOLOv8 detection model
;
complex scene of mining area
GU Qinghua, ZHOU Qiong, WANG Dan. Traveling Obstacle Detection in Open-Pit Mine Area Based on Improved YOLOv8[J]. Gold Science and Technology, 2024, 32(2): 345-355 doi:10.11872/j.issn.1005-2518.2024.02.150
传统的目标检测算法由于泛化性和稳健性较差,并不适用于复杂的露天矿区场景(Wang et al.,2019)。随着GPU硬件技术的飞速进步,基于深度学习的目标检测算法因具有检测结果精度高和处理速度快等优点而在自动驾驶领域得到了广泛应用(Pathak et al.,2018;王京华等,2021)。目前主流的目标检测算法包括R-CNN系列的双阶段算法(Girshick et al.,2014;Girshick,2015;Ren et al.,2016)和YOLO系列的单阶段算法(Redmon et al.,2015,2018;Bochkovskiy et al.,2020;Zhu et al.,2021),均在露天矿区障碍物检测中得到了应用。秦学斌等(2023)针对光照不均匀和遮挡等场景,提出了一种基于16线激光雷达与Realsense D435深度相机融合的煤矿自动驾驶矿卡车前障碍物检测方法,解决了传统障碍物检测方法存在的漏检和实时性差的问题。阮顺领等(2021)根据露天矿区存在的道路坑洼和塌陷等负向障碍物,建立了基于机器视觉的轻量化目标检测模型,能够有效识别负障碍物。秦晓辉等(2023)针对目前实地部署的商用采矿无人系统难以准确识别障碍物类型的问题,提出了一种基于改进YOLOv5的露天矿山目标检测方法,在保证实时性的前提下有效提高了YOLOv5的检测精度。上述露天矿区障碍物检测算法在白天场景下得到了较好的应用,并取得一定成果,但针对复杂矿区环境仍存在以下局限性:(1)露天矿区矿卡车载摄像头易受粉尘干扰,数据样本间质量差异大,导致检测识别困难;(2)矿区障碍物的检测局限于特定的单一白天场景,并未同时考虑夜间场景下障碍物检测问题;(3)高精度检测和识别模型的运行成本较高,计算资源消耗大。在露天矿区特殊场景下,如何以低成本实现高效的障碍物检测仍需进一步研究。
本研究使用的CloFormer网络(Fan et al.,2023)通过引用注意力机制和卷积运算相结合的AttnConv模块[图2(a)],使用共享权重和上下文感知权重,能够更好地处理图像中不同位置之间的关系。因此,本文通过在YOLOv8的主干网络中加入AttnConv模块,形成C2fCA模块[图2(b)],替换主干网络中后2个C2f模块。首先,C2fCA模块中卷积核权重是共享的,即对于不同位置的输入特征,使用相同的卷积核权重进行计算,使得整个图像学习到通用的特征,增强对不同位置之间关系的建模能力;同时,共享权重保证了在图像不同位置使用相同的特征提取模式,从而使得不同位置之间的特征表示更加一致。其次,C2fCA模块使用注意力机制,根据输入特征的上下文信息计算上下文感知权重,在不同位置处对特征进行不同程度的加权,使得模型更加关注图像中不同位置的重要性。
本研究中使用GSConv新型卷积方式(Li et al.,2022)[图3(a)],该卷积方式的原理是使用均匀混合(Shuffle)操作,将标准卷积生成的信息渗透到深度可分离卷积生成的信息中,使用较低的时间损耗尽可能保留通道之间的信息交互,从而很好地减轻模型的复杂度。同时,使用VoV-GSCSP模块[图3(b)]提高模型的学习能力。重构后的Neck端使用GSConv代替普通卷积操作,VoV-GSCSP模块代替原来的C2f模块,不仅降低了模型的复杂度,缩短了推理时间,而且保证了模型的准确型,相比原有的模型参数降低了约7%,降低了检测器的计算成本。
在边界框回归中,CIoU作为损失函数对宽高比的定义并不是很清晰,其宽高比不能代表预测框与真实框之间的宽高比。当实际数据较复杂时,模型效果会变差。如图4所示,露天矿区在粉尘干扰严重和摄像头被尘土遮挡的情况下,特别是在夜间光线不足的情况下,数据质量间存在较大的差距。低质量数据会影响模型在训练中的特征学习能力,降低模型的泛化能力和检测精度。考虑到以上问题,本文将YOLOv8网络模型的边框损失函数由CIoU替换为WIoU(Tong et al.,2023)。
TPH-YOLOv5:Improved YOLOv5 based on transformer prediction head for Object detection on drone-captured scenarios
[C]//2021 IEEE/CVF International Conference on Computer Vision Workshops(ICCVW),Montreal,B C,Canada,2021,pp.2778-2788.doi:10.1109/ICCVW 54120.2021.00312.
YOLOv4:Optimal speed and accuracy of object detection
1
2020
... 传统的目标检测算法由于泛化性和稳健性较差,并不适用于复杂的露天矿区场景(Wang et al.,2019).随着GPU硬件技术的飞速进步,基于深度学习的目标检测算法因具有检测结果精度高和处理速度快等优点而在自动驾驶领域得到了广泛应用(Pathak et al.,2018;王京华等,2021).目前主流的目标检测算法包括R-CNN系列的双阶段算法(Girshick et al.,2014;Girshick,2015;Ren et al.,2016)和YOLO系列的单阶段算法(Redmon et al.,2015,2018;Bochkovskiy et al.,2020;Zhu et al.,2021),均在露天矿区障碍物检测中得到了应用.秦学斌等(2023)针对光照不均匀和遮挡等场景,提出了一种基于16线激光雷达与Realsense D435深度相机融合的煤矿自动驾驶矿卡车前障碍物检测方法,解决了传统障碍物检测方法存在的漏检和实时性差的问题.阮顺领等(2021)根据露天矿区存在的道路坑洼和塌陷等负向障碍物,建立了基于机器视觉的轻量化目标检测模型,能够有效识别负障碍物.秦晓辉等(2023)针对目前实地部署的商用采矿无人系统难以准确识别障碍物类型的问题,提出了一种基于改进YOLOv5的露天矿山目标检测方法,在保证实时性的前提下有效提高了YOLOv5的检测精度.上述露天矿区障碍物检测算法在白天场景下得到了较好的应用,并取得一定成果,但针对复杂矿区环境仍存在以下局限性:(1)露天矿区矿卡车载摄像头易受粉尘干扰,数据样本间质量差异大,导致检测识别困难;(2)矿区障碍物的检测局限于特定的单一白天场景,并未同时考虑夜间场景下障碍物检测问题;(3)高精度检测和识别模型的运行成本较高,计算资源消耗大.在露天矿区特殊场景下,如何以低成本实现高效的障碍物检测仍需进一步研究. ...
Research on Mine Roadway Obstacle Detection Based on Infrafed Binocular Vision
2023
Rethinking local perception in lightweight vision transformer
1
2023
... 本研究使用的CloFormer网络(Fan et al.,2023)通过引用注意力机制和卷积运算相结合的AttnConv模块[图2(a)],使用共享权重和上下文感知权重,能够更好地处理图像中不同位置之间的关系.因此,本文通过在YOLOv8的主干网络中加入AttnConv模块,形成C2fCA模块[图2(b)],替换主干网络中后2个C2f模块.首先,C2fCA模块中卷积核权重是共享的,即对于不同位置的输入特征,使用相同的卷积核权重进行计算,使得整个图像学习到通用的特征,增强对不同位置之间关系的建模能力;同时,共享权重保证了在图像不同位置使用相同的特征提取模式,从而使得不同位置之间的特征表示更加一致.其次,C2fCA模块使用注意力机制,根据输入特征的上下文信息计算上下文感知权重,在不同位置处对特征进行不同程度的加权,使得模型更加关注图像中不同位置的重要性. ...
Fast R-CNN
1
2015
... 传统的目标检测算法由于泛化性和稳健性较差,并不适用于复杂的露天矿区场景(Wang et al.,2019).随着GPU硬件技术的飞速进步,基于深度学习的目标检测算法因具有检测结果精度高和处理速度快等优点而在自动驾驶领域得到了广泛应用(Pathak et al.,2018;王京华等,2021).目前主流的目标检测算法包括R-CNN系列的双阶段算法(Girshick et al.,2014;Girshick,2015;Ren et al.,2016)和YOLO系列的单阶段算法(Redmon et al.,2015,2018;Bochkovskiy et al.,2020;Zhu et al.,2021),均在露天矿区障碍物检测中得到了应用.秦学斌等(2023)针对光照不均匀和遮挡等场景,提出了一种基于16线激光雷达与Realsense D435深度相机融合的煤矿自动驾驶矿卡车前障碍物检测方法,解决了传统障碍物检测方法存在的漏检和实时性差的问题.阮顺领等(2021)根据露天矿区存在的道路坑洼和塌陷等负向障碍物,建立了基于机器视觉的轻量化目标检测模型,能够有效识别负障碍物.秦晓辉等(2023)针对目前实地部署的商用采矿无人系统难以准确识别障碍物类型的问题,提出了一种基于改进YOLOv5的露天矿山目标检测方法,在保证实时性的前提下有效提高了YOLOv5的检测精度.上述露天矿区障碍物检测算法在白天场景下得到了较好的应用,并取得一定成果,但针对复杂矿区环境仍存在以下局限性:(1)露天矿区矿卡车载摄像头易受粉尘干扰,数据样本间质量差异大,导致检测识别困难;(2)矿区障碍物的检测局限于特定的单一白天场景,并未同时考虑夜间场景下障碍物检测问题;(3)高精度检测和识别模型的运行成本较高,计算资源消耗大.在露天矿区特殊场景下,如何以低成本实现高效的障碍物检测仍需进一步研究. ...
Rich feature hierarchies for accurate object detection and semantic segmentation
1
2014
... 传统的目标检测算法由于泛化性和稳健性较差,并不适用于复杂的露天矿区场景(Wang et al.,2019).随着GPU硬件技术的飞速进步,基于深度学习的目标检测算法因具有检测结果精度高和处理速度快等优点而在自动驾驶领域得到了广泛应用(Pathak et al.,2018;王京华等,2021).目前主流的目标检测算法包括R-CNN系列的双阶段算法(Girshick et al.,2014;Girshick,2015;Ren et al.,2016)和YOLO系列的单阶段算法(Redmon et al.,2015,2018;Bochkovskiy et al.,2020;Zhu et al.,2021),均在露天矿区障碍物检测中得到了应用.秦学斌等(2023)针对光照不均匀和遮挡等场景,提出了一种基于16线激光雷达与Realsense D435深度相机融合的煤矿自动驾驶矿卡车前障碍物检测方法,解决了传统障碍物检测方法存在的漏检和实时性差的问题.阮顺领等(2021)根据露天矿区存在的道路坑洼和塌陷等负向障碍物,建立了基于机器视觉的轻量化目标检测模型,能够有效识别负障碍物.秦晓辉等(2023)针对目前实地部署的商用采矿无人系统难以准确识别障碍物类型的问题,提出了一种基于改进YOLOv5的露天矿山目标检测方法,在保证实时性的前提下有效提高了YOLOv5的检测精度.上述露天矿区障碍物检测算法在白天场景下得到了较好的应用,并取得一定成果,但针对复杂矿区环境仍存在以下局限性:(1)露天矿区矿卡车载摄像头易受粉尘干扰,数据样本间质量差异大,导致检测识别困难;(2)矿区障碍物的检测局限于特定的单一白天场景,并未同时考虑夜间场景下障碍物检测问题;(3)高精度检测和识别模型的运行成本较高,计算资源消耗大.在露天矿区特殊场景下,如何以低成本实现高效的障碍物检测仍需进一步研究. ...
Slim-neck by GSConv:A better design paradigm of detector architectures for autonomous vehicles
1
2022
... 本研究中使用GSConv新型卷积方式(Li et al.,2022)[图3(a)],该卷积方式的原理是使用均匀混合(Shuffle)操作,将标准卷积生成的信息渗透到深度可分离卷积生成的信息中,使用较低的时间损耗尽可能保留通道之间的信息交互,从而很好地减轻模型的复杂度.同时,使用VoV-GSCSP模块[图3(b)]提高模型的学习能力.重构后的Neck端使用GSConv代替普通卷积操作,VoV-GSCSP模块代替原来的C2f模块,不仅降低了模型的复杂度,缩短了推理时间,而且保证了模型的准确型,相比原有的模型参数降低了约7%,降低了检测器的计算成本. ...
SSD:Single Shot MultiBox Detector
1
2016
... 表5所示为改进模型YOLOv8n-Enhanced与其他目标检测模型[包括Faster R-CNN、SSD(Liu et al.,2016)、YOLOv5和YOLOv7]在相同试验条件和数据集下进行障碍物检测的性能对比结果.由表5可知:本文改进算法在白天和夜间的检测精度mAP50分别达到97.5%和95.1%,检测速度为69 FPS,远高于其他4种目标检测模型,且参数量仅为2.92 M.在露天矿区无人驾驶场景中,对于高精度检测和实时检测的需求,本文提出的改进算法表现最优. ...
Research on Nighttime Road Obstacle Image Semantic Segmentation Based on Attention Mechanism
2022
Application of deep learning for object detection
1
2018
... 传统的目标检测算法由于泛化性和稳健性较差,并不适用于复杂的露天矿区场景(Wang et al.,2019).随着GPU硬件技术的飞速进步,基于深度学习的目标检测算法因具有检测结果精度高和处理速度快等优点而在自动驾驶领域得到了广泛应用(Pathak et al.,2018;王京华等,2021).目前主流的目标检测算法包括R-CNN系列的双阶段算法(Girshick et al.,2014;Girshick,2015;Ren et al.,2016)和YOLO系列的单阶段算法(Redmon et al.,2015,2018;Bochkovskiy et al.,2020;Zhu et al.,2021),均在露天矿区障碍物检测中得到了应用.秦学斌等(2023)针对光照不均匀和遮挡等场景,提出了一种基于16线激光雷达与Realsense D435深度相机融合的煤矿自动驾驶矿卡车前障碍物检测方法,解决了传统障碍物检测方法存在的漏检和实时性差的问题.阮顺领等(2021)根据露天矿区存在的道路坑洼和塌陷等负向障碍物,建立了基于机器视觉的轻量化目标检测模型,能够有效识别负障碍物.秦晓辉等(2023)针对目前实地部署的商用采矿无人系统难以准确识别障碍物类型的问题,提出了一种基于改进YOLOv5的露天矿山目标检测方法,在保证实时性的前提下有效提高了YOLOv5的检测精度.上述露天矿区障碍物检测算法在白天场景下得到了较好的应用,并取得一定成果,但针对复杂矿区环境仍存在以下局限性:(1)露天矿区矿卡车载摄像头易受粉尘干扰,数据样本间质量差异大,导致检测识别困难;(2)矿区障碍物的检测局限于特定的单一白天场景,并未同时考虑夜间场景下障碍物检测问题;(3)高精度检测和识别模型的运行成本较高,计算资源消耗大.在露天矿区特殊场景下,如何以低成本实现高效的障碍物检测仍需进一步研究. ...
Object detection method for open-pit mine based on improved YOLOv5
2023a
Research on front obstacle detection algorithm for autonomous mining trucks in open-pit coal mines
2023b
You only look once:Unified,real-time object detection
1
2015
... 传统的目标检测算法由于泛化性和稳健性较差,并不适用于复杂的露天矿区场景(Wang et al.,2019).随着GPU硬件技术的飞速进步,基于深度学习的目标检测算法因具有检测结果精度高和处理速度快等优点而在自动驾驶领域得到了广泛应用(Pathak et al.,2018;王京华等,2021).目前主流的目标检测算法包括R-CNN系列的双阶段算法(Girshick et al.,2014;Girshick,2015;Ren et al.,2016)和YOLO系列的单阶段算法(Redmon et al.,2015,2018;Bochkovskiy et al.,2020;Zhu et al.,2021),均在露天矿区障碍物检测中得到了应用.秦学斌等(2023)针对光照不均匀和遮挡等场景,提出了一种基于16线激光雷达与Realsense D435深度相机融合的煤矿自动驾驶矿卡车前障碍物检测方法,解决了传统障碍物检测方法存在的漏检和实时性差的问题.阮顺领等(2021)根据露天矿区存在的道路坑洼和塌陷等负向障碍物,建立了基于机器视觉的轻量化目标检测模型,能够有效识别负障碍物.秦晓辉等(2023)针对目前实地部署的商用采矿无人系统难以准确识别障碍物类型的问题,提出了一种基于改进YOLOv5的露天矿山目标检测方法,在保证实时性的前提下有效提高了YOLOv5的检测精度.上述露天矿区障碍物检测算法在白天场景下得到了较好的应用,并取得一定成果,但针对复杂矿区环境仍存在以下局限性:(1)露天矿区矿卡车载摄像头易受粉尘干扰,数据样本间质量差异大,导致检测识别困难;(2)矿区障碍物的检测局限于特定的单一白天场景,并未同时考虑夜间场景下障碍物检测问题;(3)高精度检测和识别模型的运行成本较高,计算资源消耗大.在露天矿区特殊场景下,如何以低成本实现高效的障碍物检测仍需进一步研究. ...
YOLOv3:An incremental improvement
1
2018
... 传统的目标检测算法由于泛化性和稳健性较差,并不适用于复杂的露天矿区场景(Wang et al.,2019).随着GPU硬件技术的飞速进步,基于深度学习的目标检测算法因具有检测结果精度高和处理速度快等优点而在自动驾驶领域得到了广泛应用(Pathak et al.,2018;王京华等,2021).目前主流的目标检测算法包括R-CNN系列的双阶段算法(Girshick et al.,2014;Girshick,2015;Ren et al.,2016)和YOLO系列的单阶段算法(Redmon et al.,2015,2018;Bochkovskiy et al.,2020;Zhu et al.,2021),均在露天矿区障碍物检测中得到了应用.秦学斌等(2023)针对光照不均匀和遮挡等场景,提出了一种基于16线激光雷达与Realsense D435深度相机融合的煤矿自动驾驶矿卡车前障碍物检测方法,解决了传统障碍物检测方法存在的漏检和实时性差的问题.阮顺领等(2021)根据露天矿区存在的道路坑洼和塌陷等负向障碍物,建立了基于机器视觉的轻量化目标检测模型,能够有效识别负障碍物.秦晓辉等(2023)针对目前实地部署的商用采矿无人系统难以准确识别障碍物类型的问题,提出了一种基于改进YOLOv5的露天矿山目标检测方法,在保证实时性的前提下有效提高了YOLOv5的检测精度.上述露天矿区障碍物检测算法在白天场景下得到了较好的应用,并取得一定成果,但针对复杂矿区环境仍存在以下局限性:(1)露天矿区矿卡车载摄像头易受粉尘干扰,数据样本间质量差异大,导致检测识别困难;(2)矿区障碍物的检测局限于特定的单一白天场景,并未同时考虑夜间场景下障碍物检测问题;(3)高精度检测和识别模型的运行成本较高,计算资源消耗大.在露天矿区特殊场景下,如何以低成本实现高效的障碍物检测仍需进一步研究. ...
Faster R-CNN:Towards real time object detection with region proposal networks
1
2016
... 传统的目标检测算法由于泛化性和稳健性较差,并不适用于复杂的露天矿区场景(Wang et al.,2019).随着GPU硬件技术的飞速进步,基于深度学习的目标检测算法因具有检测结果精度高和处理速度快等优点而在自动驾驶领域得到了广泛应用(Pathak et al.,2018;王京华等,2021).目前主流的目标检测算法包括R-CNN系列的双阶段算法(Girshick et al.,2014;Girshick,2015;Ren et al.,2016)和YOLO系列的单阶段算法(Redmon et al.,2015,2018;Bochkovskiy et al.,2020;Zhu et al.,2021),均在露天矿区障碍物检测中得到了应用.秦学斌等(2023)针对光照不均匀和遮挡等场景,提出了一种基于16线激光雷达与Realsense D435深度相机融合的煤矿自动驾驶矿卡车前障碍物检测方法,解决了传统障碍物检测方法存在的漏检和实时性差的问题.阮顺领等(2021)根据露天矿区存在的道路坑洼和塌陷等负向障碍物,建立了基于机器视觉的轻量化目标检测模型,能够有效识别负障碍物.秦晓辉等(2023)针对目前实地部署的商用采矿无人系统难以准确识别障碍物类型的问题,提出了一种基于改进YOLOv5的露天矿山目标检测方法,在保证实时性的前提下有效提高了YOLOv5的检测精度.上述露天矿区障碍物检测算法在白天场景下得到了较好的应用,并取得一定成果,但针对复杂矿区环境仍存在以下局限性:(1)露天矿区矿卡车载摄像头易受粉尘干扰,数据样本间质量差异大,导致检测识别困难;(2)矿区障碍物的检测局限于特定的单一白天场景,并未同时考虑夜间场景下障碍物检测问题;(3)高精度检测和识别模型的运行成本较高,计算资源消耗大.在露天矿区特殊场景下,如何以低成本实现高效的障碍物检测仍需进一步研究. ...
Road obstacle detection in open-pit mining area based on two-way feature fusion
2023
Road negative obstacle detection in open-pit mining areas with multi-scale feature fusion
2021
Wise-IoU:Bounding box regression loss with dynamic focusing mechanism
1
2023
... 在边界框回归中,CIoU作为损失函数对宽高比的定义并不是很清晰,其宽高比不能代表预测框与真实框之间的宽高比.当实际数据较复杂时,模型效果会变差.如图4所示,露天矿区在粉尘干扰严重和摄像头被尘土遮挡的情况下,特别是在夜间光线不足的情况下,数据质量间存在较大的差距.低质量数据会影响模型在训练中的特征学习能力,降低模型的泛化能力和检测精度.考虑到以上问题,本文将YOLOv8网络模型的边框损失函数由CIoU替换为WIoU(Tong et al.,2023). ...
A comparative study of state-of-the-art deep learning algorithms for vehicle detection
1
2019
... 传统的目标检测算法由于泛化性和稳健性较差,并不适用于复杂的露天矿区场景(Wang et al.,2019).随着GPU硬件技术的飞速进步,基于深度学习的目标检测算法因具有检测结果精度高和处理速度快等优点而在自动驾驶领域得到了广泛应用(Pathak et al.,2018;王京华等,2021).目前主流的目标检测算法包括R-CNN系列的双阶段算法(Girshick et al.,2014;Girshick,2015;Ren et al.,2016)和YOLO系列的单阶段算法(Redmon et al.,2015,2018;Bochkovskiy et al.,2020;Zhu et al.,2021),均在露天矿区障碍物检测中得到了应用.秦学斌等(2023)针对光照不均匀和遮挡等场景,提出了一种基于16线激光雷达与Realsense D435深度相机融合的煤矿自动驾驶矿卡车前障碍物检测方法,解决了传统障碍物检测方法存在的漏检和实时性差的问题.阮顺领等(2021)根据露天矿区存在的道路坑洼和塌陷等负向障碍物,建立了基于机器视觉的轻量化目标检测模型,能够有效识别负障碍物.秦晓辉等(2023)针对目前实地部署的商用采矿无人系统难以准确识别障碍物类型的问题,提出了一种基于改进YOLOv5的露天矿山目标检测方法,在保证实时性的前提下有效提高了YOLOv5的检测精度.上述露天矿区障碍物检测算法在白天场景下得到了较好的应用,并取得一定成果,但针对复杂矿区环境仍存在以下局限性:(1)露天矿区矿卡车载摄像头易受粉尘干扰,数据样本间质量差异大,导致检测识别困难;(2)矿区障碍物的检测局限于特定的单一白天场景,并未同时考虑夜间场景下障碍物检测问题;(3)高精度检测和识别模型的运行成本较高,计算资源消耗大.在露天矿区特殊场景下,如何以低成本实现高效的障碍物检测仍需进一步研究. ...
Obstacle detection technology of mine electric locomotive driverless based on computer vision technology
2021
Nighttime vehicle object detection algorithm for unmanned driving based on improved YOLOv5s
2023
Research on the current situation and development trend of unmanned driving transportation technology in open-pit mines
2022
Distance-IoU loss:Faster and better learning for bounding box regression
1
2020
... YOLOv8模型使用CIoU损失函数(Zheng et al.,2020)计算边界框的回归损失,CIoU损失函数的计算公式为 ...
TPH-YOLOv5:Improved YOLOv5 based on transformer prediction head for Object detection on drone-captured scenarios
1
2021
... 传统的目标检测算法由于泛化性和稳健性较差,并不适用于复杂的露天矿区场景(Wang et al.,2019).随着GPU硬件技术的飞速进步,基于深度学习的目标检测算法因具有检测结果精度高和处理速度快等优点而在自动驾驶领域得到了广泛应用(Pathak et al.,2018;王京华等,2021).目前主流的目标检测算法包括R-CNN系列的双阶段算法(Girshick et al.,2014;Girshick,2015;Ren et al.,2016)和YOLO系列的单阶段算法(Redmon et al.,2015,2018;Bochkovskiy et al.,2020;Zhu et al.,2021),均在露天矿区障碍物检测中得到了应用.秦学斌等(2023)针对光照不均匀和遮挡等场景,提出了一种基于16线激光雷达与Realsense D435深度相机融合的煤矿自动驾驶矿卡车前障碍物检测方法,解决了传统障碍物检测方法存在的漏检和实时性差的问题.阮顺领等(2021)根据露天矿区存在的道路坑洼和塌陷等负向障碍物,建立了基于机器视觉的轻量化目标检测模型,能够有效识别负障碍物.秦晓辉等(2023)针对目前实地部署的商用采矿无人系统难以准确识别障碍物类型的问题,提出了一种基于改进YOLOv5的露天矿山目标检测方法,在保证实时性的前提下有效提高了YOLOv5的检测精度.上述露天矿区障碍物检测算法在白天场景下得到了较好的应用,并取得一定成果,但针对复杂矿区环境仍存在以下局限性:(1)露天矿区矿卡车载摄像头易受粉尘干扰,数据样本间质量差异大,导致检测识别困难;(2)矿区障碍物的检测局限于特定的单一白天场景,并未同时考虑夜间场景下障碍物检测问题;(3)高精度检测和识别模型的运行成本较高,计算资源消耗大.在露天矿区特殊场景下,如何以低成本实现高效的障碍物检测仍需进一步研究. ...
... 传统的目标检测算法由于泛化性和稳健性较差,并不适用于复杂的露天矿区场景(Wang et al.,2019).随着GPU硬件技术的飞速进步,基于深度学习的目标检测算法因具有检测结果精度高和处理速度快等优点而在自动驾驶领域得到了广泛应用(Pathak et al.,2018;王京华等,2021).目前主流的目标检测算法包括R-CNN系列的双阶段算法(Girshick et al.,2014;Girshick,2015;Ren et al.,2016)和YOLO系列的单阶段算法(Redmon et al.,2015,2018;Bochkovskiy et al.,2020;Zhu et al.,2021),均在露天矿区障碍物检测中得到了应用.秦学斌等(2023)针对光照不均匀和遮挡等场景,提出了一种基于16线激光雷达与Realsense D435深度相机融合的煤矿自动驾驶矿卡车前障碍物检测方法,解决了传统障碍物检测方法存在的漏检和实时性差的问题.阮顺领等(2021)根据露天矿区存在的道路坑洼和塌陷等负向障碍物,建立了基于机器视觉的轻量化目标检测模型,能够有效识别负障碍物.秦晓辉等(2023)针对目前实地部署的商用采矿无人系统难以准确识别障碍物类型的问题,提出了一种基于改进YOLOv5的露天矿山目标检测方法,在保证实时性的前提下有效提高了YOLOv5的检测精度.上述露天矿区障碍物检测算法在白天场景下得到了较好的应用,并取得一定成果,但针对复杂矿区环境仍存在以下局限性:(1)露天矿区矿卡车载摄像头易受粉尘干扰,数据样本间质量差异大,导致检测识别困难;(2)矿区障碍物的检测局限于特定的单一白天场景,并未同时考虑夜间场景下障碍物检测问题;(3)高精度检测和识别模型的运行成本较高,计算资源消耗大.在露天矿区特殊场景下,如何以低成本实现高效的障碍物检测仍需进一步研究. ...
露天煤矿自动驾驶矿卡车前障碍物检测算法研究
1
2023
... 传统的目标检测算法由于泛化性和稳健性较差,并不适用于复杂的露天矿区场景(Wang et al.,2019).随着GPU硬件技术的飞速进步,基于深度学习的目标检测算法因具有检测结果精度高和处理速度快等优点而在自动驾驶领域得到了广泛应用(Pathak et al.,2018;王京华等,2021).目前主流的目标检测算法包括R-CNN系列的双阶段算法(Girshick et al.,2014;Girshick,2015;Ren et al.,2016)和YOLO系列的单阶段算法(Redmon et al.,2015,2018;Bochkovskiy et al.,2020;Zhu et al.,2021),均在露天矿区障碍物检测中得到了应用.秦学斌等(2023)针对光照不均匀和遮挡等场景,提出了一种基于16线激光雷达与Realsense D435深度相机融合的煤矿自动驾驶矿卡车前障碍物检测方法,解决了传统障碍物检测方法存在的漏检和实时性差的问题.阮顺领等(2021)根据露天矿区存在的道路坑洼和塌陷等负向障碍物,建立了基于机器视觉的轻量化目标检测模型,能够有效识别负障碍物.秦晓辉等(2023)针对目前实地部署的商用采矿无人系统难以准确识别障碍物类型的问题,提出了一种基于改进YOLOv5的露天矿山目标检测方法,在保证实时性的前提下有效提高了YOLOv5的检测精度.上述露天矿区障碍物检测算法在白天场景下得到了较好的应用,并取得一定成果,但针对复杂矿区环境仍存在以下局限性:(1)露天矿区矿卡车载摄像头易受粉尘干扰,数据样本间质量差异大,导致检测识别困难;(2)矿区障碍物的检测局限于特定的单一白天场景,并未同时考虑夜间场景下障碍物检测问题;(3)高精度检测和识别模型的运行成本较高,计算资源消耗大.在露天矿区特殊场景下,如何以低成本实现高效的障碍物检测仍需进一步研究. ...
... 传统的目标检测算法由于泛化性和稳健性较差,并不适用于复杂的露天矿区场景(Wang et al.,2019).随着GPU硬件技术的飞速进步,基于深度学习的目标检测算法因具有检测结果精度高和处理速度快等优点而在自动驾驶领域得到了广泛应用(Pathak et al.,2018;王京华等,2021).目前主流的目标检测算法包括R-CNN系列的双阶段算法(Girshick et al.,2014;Girshick,2015;Ren et al.,2016)和YOLO系列的单阶段算法(Redmon et al.,2015,2018;Bochkovskiy et al.,2020;Zhu et al.,2021),均在露天矿区障碍物检测中得到了应用.秦学斌等(2023)针对光照不均匀和遮挡等场景,提出了一种基于16线激光雷达与Realsense D435深度相机融合的煤矿自动驾驶矿卡车前障碍物检测方法,解决了传统障碍物检测方法存在的漏检和实时性差的问题.阮顺领等(2021)根据露天矿区存在的道路坑洼和塌陷等负向障碍物,建立了基于机器视觉的轻量化目标检测模型,能够有效识别负障碍物.秦晓辉等(2023)针对目前实地部署的商用采矿无人系统难以准确识别障碍物类型的问题,提出了一种基于改进YOLOv5的露天矿山目标检测方法,在保证实时性的前提下有效提高了YOLOv5的检测精度.上述露天矿区障碍物检测算法在白天场景下得到了较好的应用,并取得一定成果,但针对复杂矿区环境仍存在以下局限性:(1)露天矿区矿卡车载摄像头易受粉尘干扰,数据样本间质量差异大,导致检测识别困难;(2)矿区障碍物的检测局限于特定的单一白天场景,并未同时考虑夜间场景下障碍物检测问题;(3)高精度检测和识别模型的运行成本较高,计算资源消耗大.在露天矿区特殊场景下,如何以低成本实现高效的障碍物检测仍需进一步研究. ...
基于计算机视觉技术的矿井电机车无人驾驶障碍物检测技术
1
2021
... 传统的目标检测算法由于泛化性和稳健性较差,并不适用于复杂的露天矿区场景(Wang et al.,2019).随着GPU硬件技术的飞速进步,基于深度学习的目标检测算法因具有检测结果精度高和处理速度快等优点而在自动驾驶领域得到了广泛应用(Pathak et al.,2018;王京华等,2021).目前主流的目标检测算法包括R-CNN系列的双阶段算法(Girshick et al.,2014;Girshick,2015;Ren et al.,2016)和YOLO系列的单阶段算法(Redmon et al.,2015,2018;Bochkovskiy et al.,2020;Zhu et al.,2021),均在露天矿区障碍物检测中得到了应用.秦学斌等(2023)针对光照不均匀和遮挡等场景,提出了一种基于16线激光雷达与Realsense D435深度相机融合的煤矿自动驾驶矿卡车前障碍物检测方法,解决了传统障碍物检测方法存在的漏检和实时性差的问题.阮顺领等(2021)根据露天矿区存在的道路坑洼和塌陷等负向障碍物,建立了基于机器视觉的轻量化目标检测模型,能够有效识别负障碍物.秦晓辉等(2023)针对目前实地部署的商用采矿无人系统难以准确识别障碍物类型的问题,提出了一种基于改进YOLOv5的露天矿山目标检测方法,在保证实时性的前提下有效提高了YOLOv5的检测精度.上述露天矿区障碍物检测算法在白天场景下得到了较好的应用,并取得一定成果,但针对复杂矿区环境仍存在以下局限性:(1)露天矿区矿卡车载摄像头易受粉尘干扰,数据样本间质量差异大,导致检测识别困难;(2)矿区障碍物的检测局限于特定的单一白天场景,并未同时考虑夜间场景下障碍物检测问题;(3)高精度检测和识别模型的运行成本较高,计算资源消耗大.在露天矿区特殊场景下,如何以低成本实现高效的障碍物检测仍需进一步研究. ...