基于RCR _YOLOv4的矿井巷道红外障碍检测研究

doi:10.11872/j.issn.1005-2518.2022.04.013

基于RCR _YOLOv4的矿井巷道红外障碍检测研究

阮顺领^,¹^,², 董莉娟^,¹, 卢才武¹^,², 顾清华¹^,²

1.西安建筑科技大学资源工程学院，陕西西安 710055

2.西安市智慧工业感知计算与决策重点实验室，陕西西安 710055

Research on Infrared Obstacle Detection of Mine Roadway Based on RCR_YOLOv4

RUAN Shunling^,¹^,², DONG Lijuan^,¹, LU Caiwu¹^,², GU Qinghua¹^,²

1.School of Resource Engineering, Xi’an University of Architecture and Technology, Xi’an 710055, Shaanxi, China

2.Xi’an Key Laboratory of Intelligent Industry Perception Computing and Decision Making, Xi’an 710055, Shaanxi, China

通讯作者: 董莉娟（1998-），女，陕西宝鸡人，硕士研究生，从事智慧矿山图像处理研究工作。Dianalijuan1124@163.com

收稿日期: 2022-01-05 修回日期: 2022-05-09

基金资助:

国家自然科学基金项目“金属露天矿无人驾驶多工序多目标协同智能调度方法研究”. 52074205

Received: 2022-01-05 Revised: 2022-05-09

作者简介 About authors

阮顺领（1981-），男，河南周口人，博士研究生，副教授，从事矿山智能科学与工程研究工作ruanshunling@163.com , E-mail：ruanshunling@163.com

摘要

针对地下矿井巷道光线昏暗的道路上会出现落石或行人等行车障碍物，严重影响无人驾驶矿卡安全行驶的问题，提出了一种基于红外视觉识别的巷道障碍物快速检测优化模型RCR_YOLOv4。该模型利用K-Means++优化算法筛选巷道障碍物的先验框尺寸，并引入深度可分离卷积降低网络参数量和计算量，从而提高障碍目标的定位精度和检测效率。通过设计双通道注意力机制对网络特征融合模块进行优化，实现对无人矿卡行车障碍的高精度检测。结果表明，该目标检测模型对矿井道路障碍的检测准确率达到93.52%，检测速度达到60.6 FPS，能够为矿井巷道复杂环境下无人矿卡安全行驶提供保障。

关键词： 矿井巷道 ; 无人驾驶 ; 机器视觉 ; 障碍检测 ; 红外图像 ; YOLOv4

Abstract

Aiming at the problem that driving obstacles such as falling rocks or pedestrians may appear on the dim road of underground mine roadway，which seriously affects the safe driving of unmanned mine card，a fast detection optimization model RCR_YOLOv4 of roadway obstacles based on infrared vision recognition was proposed.Firstly，the infrared camera was used for data acquisition，random cutting，random flipping，mirror flipping and other methods were used to expand the experimental data set.Labeling software was used for data Labeling，and the infrared obstacle data set of mine roadway was built and loaded into the obstacle detection model.Secondly，K-Means ++ optimization algorithm was used to screen the prior frame size of obstacles in the roadway，and depth separable convolution was introduced to reduce the number of network parameters and computation，so as to improve the positioning accuracy and detection efficiency of obstacle targets.The dual-channel attention mechanism is designed to optimize the network feature fusion module to realize the high-precision detection of the obstacle of unmanned mine jamming.The results show that the detection accuracy of the model can reach 93.52% and the detection speed can reach 60.6 FPS.Compared with the current popular target detection networks such as Faster_RCNN，SSD and YOLOv4，RCR_YOLOv4 also shows better comprehensive performance and can provide guarantee for the safe driving of unmanned mine cards in the complex environment of mine roadway.

Keywords： mine roadway ; driverless ; machine vision ; obstacle detection ; infrared image ; YOLOv4

PDF (4235KB) 元数据多维度评价相关文章导出 EndNote| Ris| Bibtex 收藏本文

本文引用格式

阮顺领, 董莉娟, 卢才武, 顾清华. 基于RCR _YOLOv4的矿井巷道红外障碍检测研究[J]. 黄金科学技术, 2022, 30(4): 603-611 doi:10.11872/j.issn.1005-2518.2022.04.013

RUAN Shunling, DONG Lijuan, LU Caiwu, GU Qinghua. Research on Infrared Obstacle Detection of Mine Roadway Based on RCR_YOLOv4[J]. Gold Science and Technology, 2022, 30(4): 603-611 doi:10.11872/j.issn.1005-2518.2022.04.013

近年来，随着矿山智能化建设（牛莉霞等，2021）和露天矿无人驾驶技术的快速发展，地下矿井无人化运输日益成为矿业科技发展的重要方向。由于地下矿井巷道环境复杂，光线严重不足（毕林等，2017），无人矿卡在行进过程中难以发现落石或行人等行车障碍物（王京华等，2021），给地下矿区无人驾驶矿卡行驶带来重大安全隐患（崔铁军等，2021），因此，亟需对地下矿井巷道特殊环境下红外图像障碍物快速、准确检测方法进行深入研究。

矿车行进障碍物快速精准检测是矿井巷道无人驾驶的关键技术之一。已有国内外学者展开相关研究：赵亮等（2021）利用激光雷达对障碍物进行检测并设计跟踪算法，对非静止状态下的障碍物进行追踪并预判障碍物的运动轨迹；陈毅等（2020）将三维激光雷达点云数据与密集深度图检测的结果进行决策级融合，减少了环境干扰对障碍物检测的影响；Cao et al.（2020）使用一种新的滤波算法和改进的多激光雷达框架下的聚类方法实现了更稳健和准确的障碍物检测。但上述研究中所采用的激光雷达易受到烟雾、粉尘的影响，信息流庞大，处理过程复杂且价格高昂。而视觉传感器具有不易受大气影响、能耗低、价格低廉和易部署等优点，同时它解释环境信息的过程更容易被人们理解。卢才武等（2020）根据露天矿特有地理环境下的障碍物特点改进Mask R-CNN（He et al.，2017）检测框架，最终达到扩大感受野范围和提升检测精度，利用相机和深度学习方法对露天矿区障碍物进行检测；Li et al.（2020）使用一种感兴趣区域提取算法处理疑似障碍物区域，并采用CNN模型对提取的候选框区域特征图进行分类，可以有效地检测野外障碍物；Zhang et al.（2019）采用雷达与深度学习相结合的方法先确定障碍物的大致位置，然后使用RCNN算法对障碍物进行精确的定位和识别，但检测速度较慢，无法满足无人驾驶车辆行驶中对障碍物实时检测的要求。

综上所述，依据矿井特殊场景下巷道障碍物的特点，提出通过改进YOLOv4（Bochkovskiy et al.，2020）网络模型对矿井巷道障碍物进行智能识别和检测，为矿井巷道复杂环境下无人矿卡安全作业提供保障。

1 矿井巷道障碍检测模型设计

在地下开采区的矿井巷道中，由于巷道光线不足和粉尘烟雾，使得障碍物特性信息模糊（阮顺领等，2021）。同时由于地面落石尺寸较小，导致障碍物检测难度增大，无人驾驶矿卡在行驶过程中易与落石或行人发生碰撞。针对矿井巷道信息的特殊性，为了实时精确地检测行进中的多种障碍物，通过对YOLOv4网络模型进行优化，构建了一种红外图像高精度实时目标检测的优化模型RCR_YOLOv4，实现对矿井巷道复杂环境下无人驾驶行进过程中障碍物的实时检测。优化后的检测模型RCR_YOLOv4网络结构如图1所示。

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1 巷道障碍检测模型RCR-YOLOv4网络结构

注：图中*i表示这部分由i个相同的模块构成

Fig.1 RCR-YOLOv4 network structure of roadway obstacle detection model

为了提升矿井巷道障碍物检测的实时性，对YOLOv4的多层卷积核主干网络进行优化，并采用深度可分离卷积（Howard et al.，2017）优化其计算参数量。同时，为了提升检测模型的检测精度和总体性能，设计了一种将残差模块（Residual）（He et al.，2016）与卷积注意力机制模块（CBAM）（Woo et al.，2018）相融合的RCR（Resunit CBAM Relu）模块（图2），并将其嵌入到网络的特征融合阶段，解决由于网络过深所引起的梯度消失问题，从而减轻网络中的干扰信息，提高障碍物特征提取能力和对小目标检测的敏感度。

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2 障碍检测网络模型主要模块

Fig.2 Main modules of the obstacle detection network model

2 矿井巷道障碍检测模型优化

2.1 Anchor Box聚类算法优化

由于YOLOv4标准模型的Anchor Box（Zhong et al.，2020）并不适用于矿井巷道障碍物检测，提出采用K-Means $+ +$ （Arthur et al.，2006）聚类优化算法对巷道障碍物数据集的锚框进行重新构建，并对初始点选取进行优化，提升模型的检测性能。聚类中心的距离定义为 $d$ ：

d = 1 - G I O U (b o x, c e n t r o i d)

（1）

K-Means $+ +$ 聚类优化算法的主要过程步骤如下：

首先输入数据参数 $X$ ，设 $X = [x_{1}, x_{2}, \dots, x_{n}]$ 为数据集。具体步骤如下：

（1）在数据集 $X$ 中随便选一个点，将其指定为聚类中心 $c_{i}$ ；

（2）计算出每一个 $x_{i}$ 与其最近 $c_{i}$ 的距离 $D (x_{i})$ 。其中：

D (x_{i}) = 1 - G I O U (x_{i}, c_{i})

（2）

（3）计算每一个 $x_{i}$ 是下一个 $c_{i}$ 的概率 $p$ ：

p = D {(x)}^{2} ∕ \sum_{x \in X} D {(x)}^{2}

（3）

（4）采用加权概率分布，将未被选中的样本点指定为新的中心，其中 $X \propto D (x)$ ；

（5）按照上述步骤，选出 $k = 9$ 个聚类中心；

（6）后续按照标准的K-Means聚类算法进行聚类计算。

该优化聚类算法对巷道障碍物数据集进行聚类迭代后生成对应锚框的大小，分别是：（35，35），（48，45），（53，55），（63，48），（65，67），（82，83），（100，109），（110，243），（227，401），其测试结果如表1所示。

表1 YOLOv4 聚类算法后障碍目标检测效果

Table 1 Obstacle target detection effect after YOLOv4 clustering algorithm

方法	mAP/%	检测速度/FPS
原始YOLOv4	90.14	53.1
改进聚类算法的YOLOv4	91.32	53.1

新窗口打开| 下载CSV

由表1可知，使用改进K-Means++的YOLOv4算法在障碍目标数据集上的平均精度为91.32%，检测速度为53.1 FPS，聚类所得的Anchor Box更适合于巷道障碍物检测，同时减少了聚类结果对K值的依懒性。

2.2 卷积方式优化

针对原YOLOv4检测模型因参数量庞大导致检测速度较慢的问题，采用深度可分离卷积替换原主干网络的标准卷积中的3×3卷积操作，优化前后的卷积方式如图3所示。

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3 标准卷积与深度可分离卷积

Fig.3 Standard convolution and depth separable convolution

在图3（a）中，标准卷积使用N个 $D_{k} \times D_{k} \times M$ 大小的滤波器提取输入图片的特征，该过程的运算量 $p_{1}$ 为

p_{1} = D_{k} \cdot D_{k} \cdot M \cdot N \cdot D_{w} \cdot D_{h}

（4）

式中：M为输入图片的深度。

在图3（b）中，深度可分离卷积分为两步，第1步，使用M个 $D_{k} \times D_{k} \times M$ 大小的滤波器在单维通道上对输入图片进行深度卷积运算，该过程的运算量 $p_{d}$ 为

p_{d} = D_{k} \cdot D_{k} \cdot M \cdot D_{w} \cdot D_{h}

（5）

第2步，在平面卷积中利用N个 $1 \times 1 \times M$ 的滤波器，对上一步的结果进行 $1 \times 1$ 卷积运算，该过程的运算量 $p_{s}$ 为

p_{s} = M \cdot N \cdot D_{w} \cdot D_{h}

（6）

将2个部分的运算量相加得到 $p_{2}$ ，表示为

p_{2} = D_{k} \cdot D_{k} \cdot M \cdot N \cdot D_{w} \cdot D_{h} + M \cdot N \cdot D_{w} \cdot D_{h}

（7）

卷积方式改进后与改进前的运算量比值可表示为

\frac{p_{2}}{p_{1}} = \frac{(M \cdot D_{w} \cdot D_{h}) \cdot (D_{k}^{2} + N)}{D_{k}^{2} \cdot M \cdot N \cdot D_{w} \cdot D_{h}} = \frac{1}{N} + \frac{1}{D_{k}^{2}}

（8）

由上式结果可知，优化主干网络的卷积方式之后，其网络模型的运算量显著减少，模型推理速度大幅提高。

2.3 YOLOv4 特征融合优化

为了提升模型对小目标特征的提取能力并减少轻量化网络对其检测精度的影响，提出在YOLOv4的特征融合部分使用RCR模块（残差模块+CBAM模块）替换原网络特征融合中的一次卷积操作。

残差结构在对信息传递过程中开辟了一条恒等映射的路径，改变了信息传递的方式，由此解决了由于网络过深而导致的模型退化问题，从而在很大程度上促进了网络的优化。残差模块如图4所示。

图4

新窗口打开| 下载原图ZIP| 生成PPT

图4 残差模块

Fig.4 Residual module

CBAM模块的引入不仅可以弥补轻量化网络所损失的精度，而且因为它是一种轻量级的注意力模块，并不会对模型的运算增加负担。该模块在特征图的深度和平面上搜索障碍物的主要特征，增强有效特征而抑制无效特征，最终提高模型对井巷障碍物的识别性能。CBAM结构如图5所示。

图5

新窗口打开| 下载原图ZIP| 生成PPT

图5 卷积注意力机制模块

Fig.5 Convolution attention mechanism module

在图5中，为了加快计算通道注意力的效率，第一部分先对中间层特征图 $X_{i n p u t} \in R^{H \times W \times C}$ 同时进行MaxPool和AvgPool，快速减少模型运算量，经过多层感知机（Multilayer Perceptron，MLP）处理得到一个通道注意力图 $X_{c}^{'} \in R^{C \times 1 \times 1}$ ，如式（9），将其与 $X_{i n p u t}$ 进行concat操作得到的结果 $X_{c}^{H \times W \times C}$ 作为第二部分的输入；然后对其同时实施MaxPool和AvgPool，使用卷积操作生成一个空间注意力图 $X_{s}^{'} \in R^{1 \times H \times W}$ ，如式（10）， $X_{s}^{'}$ 与 $X_{i n p u t}$ 通过concat操作输出最终的矿井巷道障碍物特征图。

X_{c}^{H \times W \times C} = X_{c}^{'} \otimes X_{i n p u t}

（9）

X_{s}^{H \times W \times C} = X_{s}^{'} \otimes X_{c}^{H \times W \times C}

（10）

式中：C为特征图的通道；H为特征图的高；W为特征图的宽； $\otimes$ 为逐元素相乘。

3 试验结果分析

3.1 试验设计及数据集预处理

本试验的数据来源于某金属地下矿的黑暗巷道，使用红外夜视摄像头（镜头焦距6 mm，300万像素）在不同场景下拍摄所得。本试验数据集共有3 384张图片，图片分辨率为512 pixel×290 pixel，训练集与测试集的数据集比例为9∶1。实验平台的处理器为Intel® Core™ i9-10920X CPU，NVIDIA GeForce RTX 3090（24G）GPU，软件配置为操作系统Windows 10，本文的障碍检测模型基于Pytorch1.2深度学习框架构建。由于试验条件限制，本次只考虑矿井巷道主要的障碍物因素（行人、落石），其他类型的障碍物可以通过模型训练学习达到同样检测效果。为了增强模型的抗干扰能力，提升网络训练效果，试验对原始图片进行随机旋转、缩放等预处理。

由于矿井巷道障碍数据集中的部分图片成像不清晰，这些图片会影响网络对特征的学习与提取，因此需要对这部分图片进行图像增强。

（1）使用灰度拉伸均衡图像分布，增强图像的对比度：

f ∶ x_{p} = \frac{x - x_{m i n}}{x_{m a x} - x_{m i n}}

（11）

式中： $x_{m i n}$ 为最小像素值； $x_{m a x}$ 为最大像素值。

（2）使用拉普拉斯算子进行图像锐化，增强图像的信噪比。图像 $f (x, y)$ 的拉普拉斯算子为

\nabla^{2} f = \frac{\partial^{2} f}{\partial x^{2}} + \frac{\partial^{2} f}{\partial y^{2}}

（12）

锐化公式为

g (x, y) = f (x, y) + c [\nabla^{2} f (x, y)]

（13）

式中： $g$ 为锐化后的图像； $f$ 为未处理图像； $c$ 为系数。

图6所示为矿井巷道红外图像预处理前后的对比图。

图6

新窗口打开| 下载原图ZIP| 生成PPT

图6 矿井巷道红外图像预处理前后对比

Fig.6 Comparison of infrared image of mine roadway before and after pretreatment

3.2 障碍检测模型优化训练

利用预处理后的矿井巷道障碍物图片训练RCR_YOLOv4网络。训练参数如表2所示。

表 2 障碍检测模型训练参数

Table 2 Training parameters of obstacle detection model

训练参数	数值
迭代次数/次	100
每次迭代的图片数量/张	4
学习率	0.001
训练样本数/个	3 046

新窗口打开| 下载CSV

在网络训练时监控Train Loss（训练损失）值并绘制出Train Loss曲线图，如图7所示。

图7

新窗口打开| 下载原图ZIP| 生成PPT

图7 RCR_YOLOv4模型训练损失曲线

Fig.7 Loss curve of RCR_YOLOv4 model training

由图7可知，优化后的模型训练达到35个Epochs之后，损失值不再大幅变动，表明此时网络模型的损失值已达到障碍物检测的精度要求。

3.3 障碍检测模型消融试验

为了验证障碍物检测网络模型中各模块对检测性能的影响程度，本文进行了消融试验，试验结果如表3所示。

表 3 障碍检测模型不同优化性能对比

Table 3 Comparison of different optimization performance of obstacle detection models

模型	深度可分离卷积	RCR	K-Means++	mAP /%	检测速度 /FPS	模型大小 /M
Original_YOLOv4				90.14	53.1	243.9
优化模型1	√			88.27	62.4	114.9
优化模型2		√		93.67	55.1	272.5
优化模型3			√	91.32	53.1	243.9
优化模型4	√	√		90.34	60.4	144.6
优化模型5	√		√	89.76	61.9	114.9
优化模型6		√	√	93.86	55.1	272.5
RCR_YOLOv4	√	√	√	93.52	60.6	144.6

新窗口打开| 下载CSV

由表3可知，网络模型引入深度可分离卷积后，检测精度下降了1.87%，但检测速度显著提高；引入RCR模块，mAP提升了3.53%；引入优化后的K-Means++算法，mAP略微上升，检测速度不变。集成以上3个模块的RCR_YOLOv4网络模型，检测速度和mAP同时得到提升。

3.4 优化模型障碍检测效果

为了验证检测模型优化后的有效性，分别使用Faster_RCNN（Ren et al.，2017）、SSD（Liu et al.，2016）、Original_YOLOv4（Bochkovskiy et al.，2020）和优化模型RCR_YOLOv4对相同的测试数据集进行障碍物检测试验，结果如图8所示。

图8

新窗口打开| 下载原图ZIP| 生成PPT

图8 不同网络的障碍检测效果

Fig.8 Obstacle detection effect of different networks

如图8所示，5组图片中待检测目标共17个，第1列为Faster_RCNN的检测结果，误检数为6，表明网络的特征提取能力欠缺；第2列为SSD，其漏检数为7个，可以看出SSD对于部分小目标检测敏感度不够；第3列为Original_YOLOv4，同样存在3个漏检目标；第4列是本文改进的算法，没有出现误检和漏检的情况。结果表明，RCR_YOLOv4网络在复杂环境下有利于获取更精准的检测效果。针对被误检的类似于障碍物的物体，在训练中将其作为负样本，通过大量数据训练提升网络对正负样本的分类精度，从而降低误检率和漏检率。

3.5 优化模型障碍检测性能分析

为客观评价RCR_YOLOv4优化模型的有效性，使用相同的矿井巷道障碍物数据集分别对Faster_RCNN模型、SSD模型、Original_YOLOv4模型和RCR_YOLOv4模型进行训练与测试分析。图9所示为RCR_YOLOv4模型与上述其他模型在验证集上的Loss曲线对比图，表4为不同模型的性能对比。

图9

新窗口打开| 下载原图ZIP| 生成PPT

图9 不同模型的损失对比

Fig.9 Comparison of losses of different models

表 4 不同检测网络模型性能对比

Table 4 Performance comparison of different detection network models

模型	person AP /%	stone AP /%	mAP /%	检测速度 /FPS	模型大小 /M
Faster_RCNN	91.40	48.33	69.87	47.6	108.0
SSD	98.74	77.55	88.14	59.7	91.2
Original_YOLOv4	91.67	88.60	90.14	53.1	243.9
RCR_YOLOv4	93.68	93.36	93.52	60.6	144.6

新窗口打开| 下载CSV

由表4可知，优化后的RCR_YOLOv4网络模型具有良好的综合性能，其mAP比Faster_RCNN、SSD、Original_YOLOv网络模型分别提高了23.65、5.38、3.38个百分点，尤其是小目标检测方面。优化后的YOLOv4网络模型对于落石检测的准确率比原模型提高了4.76个百分点，检测速度提升到60.6 FPS。

由图9和表4可以得出，RCR_YOLOv4网络的损失函数值更小，精度更高，意味着该优化模型可以更好地满足井巷道路无人驾驶中障碍物特别是小目标实时检测的需求。

4 结论

（1）提出改进YOLOv4的RCR_YOLOv4矿井巷道红外障碍检测方法，结果表明相比原YOLOv4模型该方法对巷道红外障碍检测精度有了显著提升，同时其模型的推理速度也明显加快，可实现对无人矿卡行进障碍的准确、快速识别。

（2）本文所提检测方法可有效解决矿井光线昏暗、障碍形态模糊等复杂环境下的红外图像目标难以快速有效识别问题，有力保障矿井巷道无人驾驶矿卡的安全行驶。

（3）由于矿井巷道数据集采集困难，试验数据集较少，加之矿山的多样性及矿井巷道障碍物的不同，因此本研究难以覆盖不同路况的地下矿区。未来将增加数据集的样本量与多样性，进一步提升该方法在矿井环境下无人矿卡安全行驶的稳健性。

http://www.goldsci.ac.cn/article/2022/1005-2518/1005-2518-2022-30-4-603.shtml

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[]

Arthur

， Vassilvitskii

，2006.K-means++：The Advantages of Careful Seeding［M］. Palo Alto：Stanford InfoLab Publication.