基于图像识别的井下机车载矿量计量系统
Mine-Loading Measurement System of Underground Locomotive Based on Image Recognition
收稿日期: 2021-09-26 修回日期: 2022-01-10
基金资助: |
|
Received: 2021-09-26 Revised: 2022-01-10
作者简介 About authors
张钰鹏(1993-),男,江西进贤人,工程师,从事软件开发和自动化技术研究工作
关键词:
Keywords:
本文引用格式
张钰鹏, 吴富姬, 郭毅.
ZHANG Yupeng, WU Fuji, GUO Yi.
现代矿山生产管理要求作业计划编制必须满足精细化、准确化和快速制定等需求(李国清等,2017),而作业计划编制主要是根据矿山的出矿量,因此编制生产作业计划时必须要获取准确的出矿量。井下工矿电机车是重要的运输设备(杨锦涛,2019),目前绝大部分地下矿山采用载矿电机车作为装载工具,将矿石与围岩运至地表,采用粗放的人工计量方式(派遣专员在现场数运矿机车的载矿矿车数),并根据矿车的核载量估算出矿量(杨文龙等,2019)。当前矿石计量方式存在的问题主要有:仅仅以清点载矿矿车数来估算载矿量,导致年累积出矿量相差较大,无法掌握真实的出矿数据,造成矿山企业无法准确编制生产作业计划;安排计量工人在井下放矿点附近工作,安全风险大且增加了矿山企业生产成本。
为解决上述问题,通过查阅相关文献资料以及开展矿山企业现场调研,了解到图像分析技术已被广泛应用于矿业领域(杜培军等,2012;陈绍杰等,2011;张泽琳等,2013)。目前,已有学者将图像分析应用于矿石计量上。如:通过数字图像处理技术分析传送皮带上的矿石图像,计算皮带上的矿石量(张建立等,2020;贺杰等,2020;田甜,2011)。Sun et al.(2021)介绍了一种基于深度学习和图像识别的矿用汽车矿石装载量检测模型,该模型适用于露天矿山。在矿石智能分选方面,Baklanova et al.(2016)介绍了矿物岩石图像识别方法和算法的发展,描述了用于确定岩石成分、颜色和形状的聚类和形态分析算法;也有学者介绍了基于机器视觉的黑钨矿石智能分选机,该分选机对矿石图像进行灰度化和降噪预处理,设置阈值分析矿石含钨量筛选出脉石(戴昌璐,2020;肖继伟,2019;王芳,2020)。王李管等(2020)介绍了一种基于深度学习的黑钨矿图像识别选矿方法,该方法具有收敛快速、所需数据集小和分类准确的优点。第旺平等(2021)介绍了智能光电选矿机的设计原理及应用场景,根据矿石的表面特征差异、解离度可选用不同的选矿技术。Zheng et al.(2015)介绍了一种基于机器视觉系统的井下煤矸石气力分选系统,推导了煤矸石气力分选的理论距离公式。在矿山智能装置方面,郭毅等(2021)介绍了一种基于图像识别技术的矿石结底智能清理装置,采用Canny算子边缘检测算法确定矿车轮廓的位置。Patel et al.(2019)介绍了一种皮带传输过程中的铁矿石品位在线预测机器视觉系统,以支持向量机回归(SVR)作为选择图像特征最优集的准则函数,提出了一种序贯前向浮动选择(SFFS)算法。Xu et al.(2020)介绍了基于机器视觉的巷道变形实时监测方法和系统,岩石实时图像由机器自动采集,以围岩变形量、速度和加速度作为动态预警指标,对巷道动态变形进行实时监测。
结合前人研究工作,目前利用矿石图像进行三维重建获取其体积的技术主要应用于皮带传送矿石和露天矿卡车运送矿石中,而对于井下机车运送矿石并未见相关报道。由于皮带运送矿石时,矿石是均匀平铺在皮带上的,且矿石密度是一个定值,因此无需分割图像而只需计算矿石体积即可得到矿石重量。然而,当机车运输矿石时,矿石是由矿车装载的,每个矿车装载的矿石量有一定的差异,因此机车计量系统需要分割出每个矿车图像,采集大量样本进行训练,获取不同情况下的矿石图像特征,进而构建图像特征数据库,以便对后续采集的图像信息进行匹配。综上所述,机车计量系统的关键技术在于矿车分割及采集样本训练系统构建图像特征数据库。鉴于上述问题,本文采用图像识别与密度模型建模相结合的方法研究机车计量系统,通过对矿石堆图像信息进行三维重建形成体积模型,构建了一个图像特征—密度库,设计并开发了一套基于图像识别的井下机车载矿量计量系统,该系统已成功应用于江西某钨矿。
1 系统原理及结构
本研究开发的基于图像识别的井下机车载矿量计量系统,通过深度相机同时获取目标矿车的深度图像和彩色图像,再通过开发的软件对深度图像进行处理,并拟合计算出目标矿车的载矿量。深度相机设置在触发模式的工作状态下,可以实现“车来拍照、车离不拍”的功能。该系统实现了车次区分、非接触式称重、实时观测、生产数据记录以及“车来拍照、车离不拍”等功能,可以满足矿山的日常生产管理需求。
井下机车载矿量计量系统主要是由数据采集与传输系统、矿车计数系统、基于图像信息矿石堆不规则表面三维重建系统和载矿量实时监测系统等组成,系统结构如图1所示。
图1
图1
井下机车载矿量计量系统结构图
Fig.1
Structural diagram of underground vehicle mine-loading measurement system
其中,数据采集与传输系统是以深度相机为图像采集工具,能够同时获取目标矿车的深度图像和RGB彩色图像(汪钇鑫,2016)。数据通过光纤以太网进行传输。矿车计数系统是对数据采集与传输系统所采集传输而来的图像序列中的RGB彩色图像进行分析,识别其中的矿车图像并进行矿车计数。基于图像信息矿石堆不规则表面三维重建系统是对当前车次图像序列中矿车的深度图像进行三维重建,从而构建三维模型(张豪等,2021;梁乐,2019),并计算矿车体积,结合轨道衡复核称重生成密度模型库。与此同时,对该矿车的RGB彩色图像进行分析并提取相应的特征向量(王君等,2021),可以与密度模型库生成一个图像特征—密度库。载矿量实时监测系统主要用于实时统计基于图像信息矿石堆不规则表面三维重建系统所返回的矿车重量,并将该重量与矿车计数系统所返回的矿车计数相关联,最终得出当前车次的载矿量并实时显示。
2 系统硬件
系统硬件主要由相机集成装置和搭载系统的计算机组成,用于获取并分析目标矿车的图像,从而得到矿车载矿量数据。
2.1 相机集成装置
图2
图2
相机集成装置
1-补偿灯;2-灯架;3-灯板;4-透明板;5-支撑板;6-开关电源;7-深度相机;8-光纤收发器;9-箱体;10-支架;11-电源接口;12-网线接口;13-光纤转换接口
Fig.2
Camera integration device
2.2 搭载本系统的计算机
考虑到井下环境恶劣,现场湿度大且震动频繁,设计选用研华PPC-3120S工业平板计算机搭载本计量系统,从而确保系统能够高效、稳定运行。计算机的主要硬件参数如下:嵌入式Intel Celeron处理器、板载四核N2930 1.83GHz,前面板防护等级IP65;计算机主要软件环境:Windows 7 Ultimate sp1操作系统,Microsoft.NET Framework4.5框架。
3 系统构建
本系统开发的软件主要是依托Qt应用程序开发框架以及相机自带的SDK开发库进行联合开发。系统通过软件显示界面实时观测矿车的运行状态、读取矿车的载重情况和当天的出矿量,并将生产数据存储在后台。
3.1 数据采集与传输系统
数据采集与传输系统主要由深度相机、传感器和数据传输模块组成。由于电机车是在固定轨道上带动矿车低速运行,因此在运动矿车上方选择一个固定点安装深度相机,当矿车在轨道上运行至摄像机下方时,采集矿车内矿石的深度图像进行三维重建。为了满足系统对于采集图像的要求,设计选用图漾工业FM 850-GI-E1型工业三维智能相机,相机主要参数如下:测距范围0.5~8 m,输出深度图像1 120×920pixel@26fps,输出彩色图像1 280×960 pixel@26fps,防尘放水结构达到IP65防护等级。图3所示为矿车三维重建时深度相机与矿车的相对位置示意图,深度相机置于矿车的正上方,便于拍摄运动矿车的深度图像。深度图像数据通过光纤以太网传输至上位机以进行系统分析。
图3
3.2 矿石体积计算方法
深度图像中的单个像素值是空间中物体的某个点到垂直于左红外镜头光轴并通过镜头光心(深度相机光学零点)平面的垂直距离,如图4所示。深度图是深度相机视野内所有点的深度数据构成的矩阵,是一个16 bit位深的单通道矩阵,单位为mm,没有深度信息的点值为0。
图4
在现场试验中,相机是安装在巷道顶部垂直向下连续拍摄的,其成像效果如图5所示。由于相机是在机车运行过程中连续拍摄的,必然会出现多个矿车在一张图像中的情况。为了准确获取矿车信息,系统先对一个完整的空矿车图像做边缘检测,提取其特征并存入系统中;然后对拍摄到的一系列图像进行边缘检测,提取特征值,用这个特征值去匹配之前得到的完整空矿车的特征值,当特征值匹配成功,即认定其对应的图像是有效图像,系统会对有效图像做进一步处理。
图5
本系统采用微元法进行体积计算(王耀革等,2020;叶正麟等,2020;李兴东等,2021;张健,2017)。设矿车载矿物表面在端平面的投影区域为s,被测物体表面上任意一点坐标为(X,Y,Z),被测对象的体积可表示为V=∫zds。测量时,可分别在x方向和y方向取步距为Δx、Δy,则在x方向上取m个点,y方向上取n个点。深度相机的深度信息反映的是相机到物体表面的距离,而非物体自身的高度,需要进行预处理。由于相机固定在一个位置且矿车的规格是一致的,设相机到被测物体底部的垂直距离为H,则H为一定值。由深度相机测得的每一个点的深度信息为hi,j (i=1,2,…,n),则被测物体表面每一个点的高度值为Zi,j =H-hij (i=1,2,…,m;j=1,2,…,n),被测物体表面某一点的体积为ΔV=Zi,j ΔxΔy,总体积可表示为
式中:V为被测物体的体积;Zi,j 为矿石表面某一点到矿车底部的垂直高度;Δxi 为被测物体表面某一点在x方向上的步距;Δyj 为被测物体表面某一点在y方向上的步距。
系统提取深度图像双边的深度值计算出左、右横三棱柱的高。沿着y方向微分,每一个微元可看成一个三角片,其体积可表示
式中:ΔV为被测物体表面某一点的体积,Δy为该点在y方向上的步距;α为矿车左右斜面与水平底面所成的夹角。
对于左、右横三棱柱,其高在深度图像上对应为
则矿车所载矿物的体积可表示为
3.3 载矿量实时监测系统
载矿量实时监测系统如图6所示。系统对当前车次图像序列中矿车的深度图像进行三维重建,构建了其三维模型,并计算矿石体积;然后根据每车矿石的轨道衡称重,计算每车矿石密度ρ;最后,对矿车的RGB图像进行分析,提取相应的特征向量,并与矿石密度ρ生成一个图像特征—密度库。当矿车经过载矿量实时监测系统时,系统将根据矿车内矿石堆的图像特征自动匹配矿石密度值ρ,并计算该矿车内矿石的体积V,从而计算得到该矿车内矿石的质量M=ρV。
图6
4 现场试验及结果分析
为了验证井下机车载矿量计量系统运行的稳定性和机车载矿量计算的准确性,选择在江西某钨矿井下进行现场试验。试验分为2个部分:第一,采集大量的矿车载重数据与其对应的图像,构建图像特征—密度库,建立机车载矿量计量系统;第二,进行现场试验,对比由计量系统计算得到的载矿量和由轨道衡称重得到的载矿量,从而验证本文所建系统计算的准确性以及系统运行的可靠性和稳定性。
4.1 采集数据
本次试验中每一列机车牵引8个矿车,试验共采集30列机车,共计240个矿车。每个矿车的规格是一致的,但由于各矿车的矿石结底量不同导致其空载时有重量差异(张小牛,2016)。本次试验以各个空矿车重量的平均值代替空矿车的额定重量,经静态轨道衡称量各空矿车的重量后计算得出空矿车平均重量为728 kg。
平均密度值可以根据密度公式计算得到,矿石重量通过静态轨道衡称重获得,矿车的载矿体积通过深度图像计算获得。经轨道衡称重获得的矿车总重量和由深度图像计算得到的载矿体积及对应的平均密度值,如表1所示。
表1 部分矿车总重量、矿石体积及平均密度
Table 1
矿车总重量/kg | 矿石重量/kg | 矿石体积/m3 | 平均密度 /(×103 kg·m-3) |
---|---|---|---|
1 760 | 1 032 | 0.841 | 1.227 |
1 795 | 1 067 | 0.871 | 1.224 |
1 795 | 1 067 | 0.868 | 1.229 |
1 866 | 1 138 | 0.531 | 2.142 |
1 866 | 1 138 | 0.811 | 1.404 |
1 973 | 1 245 | 0.620 | 2.009 |
1 973 | 1 245 | 0.698 | 1.783 |
1 973 | 1 245 | 0.656 | 1.898 |
1 973 | 1 245 | 0.744 | 1.673 |
1 890 | 1 162 | 0.640 | 1.814 |
1 890 | 1 162 | 0.653 | 1.780 |
1 970 | 1 242 | 0.738 | 1.683 |
1 970 | 1 242 | 0.757 | 1.640 |
1 989 | 1 261 | 0.475 | 2.653 |
2 112 | 1 384 | 0.851 | 1.626 |
2 042 | 1 314 | 0.816 | 1.611 |
将采集到的240组数据的平均密度值绘制成折线图(图7),可以发现矿车内矿石堆的平均密度值在(1.0~3.0)×103 kg/m3之间。
图7
图7
矿车内矿石堆的平均密度折线图
Fig.7
Line graph of average density of ore heap in mining vehicle
4.2 构建图像特征—密度库
通过查阅相关资料,了解到矿车载矿物的平均密度与矿车上表面的矿石空间分布有一定的关系(张泽琳等,2013),因此本系统利用深度学习的方法去寻找矿车载矿物的平均密度与矿车上表面矿石空间分布之间的对应关系,通过大量的训练样本对系统进行训练,可得到一个可靠的图像特征—密度库。
主成分分析法提取图像特征的步骤如下:
(1)图像去中心化,各个像素点减去图像像素点的平均值;
(2)计算协方差矩阵;
(3)通过奇异值分解法计算协方差矩阵的特征值和特征向量;
(4)对特征值从大到小进行排序,选择其中最大的k个特征值,然后将其对应的k个特征向量分别作为列向量,组成特征向量矩阵;
(5)将图像数据转换到k个特征向量构成的新的空间中。
为了便于查看,使用图像文件名代替一张图像,与对应的矿石平均密度构建一个图像特征—密度库,部分对应关系如表2所示。
表2 部分图像文件名与平均密度对应关系
Table 2
图像文件名 | 平均密度/(×103 kg·m-3) |
---|---|
2020-11-13-09-37-58-887_RGB.png | 1.227 |
2020-11-13-09-38-02-599_RGB.png | 1.224 |
2020-11-13-09-38-02-789_RGB.png | 1.229 |
2020-11-13-09-38-33-286_RGB.png | 2.142 |
2020-11-13-09-38-36-077_RGB.png | 1.404 |
2020-11-13-09-38-41-159_RGB.png | 2.009 |
2020-11-13-09-38-42-699_RGB.png | 1.784 |
2020-11-13-09-38-45-640_RGB.png | 1.898 |
2020-11-13-09-38-46-571_RGB.png | 1.674 |
2020-11-13-09-38-53-163_RGB.png | 1.815 |
2020-11-13-09-38-58-121_RGB.png | 1.781 |
2020-11-13-09-38-59-648_RGB.png | 1.684 |
2020-11-13-09-39-08-730_RGB.png | 1.640 |
2020-11-13-09-53-39-621_RGB.png | 2.653 |
2020-11-13-09-53-50-114_RGB.png | 1.626 |
2020-11-13-09-54-03-006_RGB.png | 1.611 |
4.3 试验结果对比分析
本次试验部分计量系统测量结果与轨道衡称重结果对比如表3所示,其中重量均是去除空矿车重量后的数值。
表3 部分计量系统测量结果与轨道衡称重结果对比
Table 3
矿石体积 /m3 | 计量系统测量结果 /kg | 轨道衡称重结果 /kg | 相对误差 /% |
---|---|---|---|
0.787201 | 1 215 | 1 144 | 6.21 |
0.726966 | 1 167 | 1 098 | 6.28 |
0.424592 | 1 022 | 1 088 | -6.07 |
0.769064 | 1 101 | 1 038 | 6.07 |
0.749307 | 1 160 | 1 099 | 5.55 |
0.742111 | 1 161 | 1 097 | 5.83 |
0.787205 | 1 094 | 1 032 | 6.01 |
0.792787 | 1 230 | 1 167 | 5.40 |
0.475387 | 1 159 | 1 229 | -5.70 |
0.851379 | 1 506 | 1 421 | 5.98 |
0.815518 | 1 259 | 1 314 | -4.19 |
0.797762 | 1 114 | 1 182 | -5.75 |
0.848525 | 1 404 | 1 330 | 5.56 |
0.816821 | 1 385 | 1 331 | 4.06 |
0.846212 | 1 439 | 1 356 | 6.12 |
0.863180 | 1 414 | 1 348 | 4.90 |
表3中计量系统测量结果与轨道衡实际称重结果的相对误差小于3%,其他试验测量结果相对误差小于5%,试验结果表明该计量系统运行稳定可靠,载矿量计算误差小于5%。
5 结论
针对目前大部分矿山企业采用人工清点载矿矿车数估算出矿量的计量方式,本文开发了一套适用于矿山企业的基于图像识别的井下机车载矿量计量系统。
(1)该计量系统首先使用深度相机获取大量目标矿车的深度图像和彩色图像,然后对获取到的图像进行三维重建,生成图像特征—密度库。系统运行时,首先拍摄目标矿车的图像,采用微元法计算其体积并提取特征值,然后将特征值与图像特征—密度库进行匹配,得到当前矿车内矿石的密度值,进而计算出矿石的重量。
(2)经现场反复试验,该计量系统的载矿量计算误差小于5%,能够较好地解决目前矿山企业面临的出矿量估算问题。该计量系统载矿量计算误差随着图像特征—密度库样本数的增加而逐渐减小。
(3)由于各个矿山的矿石性质存在一定的差异,矿石的密度和形态不尽相同,因此该计量系统在修改相应参数、重新采集大量样本进行训练后,可推广应用至其他矿山。
http://www.goldsci.ac.cn/article/2022/1005-2518/1005-2518-2022-30-1-131.shtml
参考文献
Methods and algorithms of image recognition for mineral rocks in the mining industry
[J].
Land use classification in coal mining area using remote sensing images based on multiple classifier combination
[J].
Comprehensive application of XRT ray and image intelligent concentrator in wolframite mine
[J].
Preconcentration and discarding technology of intelligent photoelectric dressing equipment
[J].
Land cover change detection over mining areas based on support vector machine
[J].
Research on intelligent cleaning device for bottom of tipping-type car based on image recognition technology
[J].
Volume measurement of coal volume on belt conveyor based on image processing
[J].
Optimization model of mining operation scheduling for underground metal mines
[J].
Microscopic measurement and refreshing device for CCD camera
[J].
On differential element method and its principle
[J].
Research on Measurement Method of Irregular Object Volume Based on Binocular Stereo Vision
[D].
Pedestrian detection research based on multi-feature cascade of PCA dimension reduction
[J].
Development of a machine vision system using the support vector machine regression (SVR) algorithm for the online prediction of iron ore grades
[J].
Feature Extraction for hyperspectral images based on principal component analysis improved by information quantity
[J].
A method of mining truck loading volume detection based on deep learning and image recognition
[J].
Coal Petrography Analysis and Coal Pile Volume Measurement Based on Image Processing Technology
[D].
Research on Primary Selection System of Black Tungsten Ore Based on Machine Vision
[D].
Multiple biological features recognition algorithms of underground coalmine sign-in system
[J].
Beneficiation method of wolframite image recognition based on deep learning
[J].
Differential element method for definite integrals
[J].
Application of depth-image processing in vehicle identification
[J].
Research and Design of Black Tungsten Ore Intelligent Sorting System Based on Machine Vision
[D].
Real-time measuring and warning of surrounding rock dynamic deformation and failure in deep roadway based on machine vision method
[J].
Applying PCA to dimensionality reduction of image features extracted by deep learning
[J].
Research and development of mine electric locomotive
[J].
A method of measuring the ore carrying capacity of hopper based on depth camera
[J].
Application of the differential element method in some integral problems
[J].
A fast fractal image compression algorithm based on principal component
[J].
Research on 3D model reconstruction based on deep learning
[J].
Application of the differential element method in the volume calculation for the rotating bodies
[J].
Detection of ore granularity based on morphological image processing
[J].
Design of cleaning car bottom car hydraulic control system in screw type
[J].
Estimation of density distribution of coarse coal pile by image analysis
[J].
Underground pneumatic separation of coal and gangue with large size(≥50 mm) in green mining based on the machine vision system
[J].
基于多分类器集成的煤矿区土地利用遥感分类
[J].
XRT射线及图像智能选矿机在黑钨矿山的综合运用探索
[J].
智能光电选矿预选抛废技术研究及应用
[J].
基于支持向量机的矿区土地覆盖变化检测
[J].
基于图像识别技术的翻斗式矿车结底智能清理装置研究
[J].
基于图像处理的皮带机上煤量体积计量
[J].
地下金属矿山采掘作业计划优化模型
[J].
CCD相机的微距测量补光装置设计
[J].
关于微元法及其原理的探讨
[J].
基于双目立体视觉的不规则物体体积测量方法研究
[D].
基于PCA降维的多特征级联的行人检测研究
[J].
基于信息量改进主成分分析的高光谱图像特征提取方法
[J].
基于图像处理技术的煤岩分析及煤堆体积测量
[D].
深度图像处理在车辆识别中的应用
[J].
基于机器视觉的黑钨矿石初选系统研究
[D].
多生物特征融合的矿井人员身份识别
[J].
基于深度学习的黑钨矿图像识别选矿方法
[J].
微元分析法探究
[J].
基于机器视觉的黑钨矿石智能分选系统研究与设计
[D].
利用PCA进行深度学习图像特征提取后的降维研究
[J].
矿山工矿电机车研究与发展
[J].
基于深度相机的矿斗载矿量的测量方法
[J].
微元法在一些积分问题中的应用
[J].
基于主成分特征的快速分形图像压缩算法
[J].
基于深度学习的三维模型重构研究
[J].
形态学图像处理下的矿石粒度的检测
[J].
旋转体体积计算中的微元法思想应用
[J].
螺旋式清理矿车结底车液压控制系统的设计
[J].
基于图像分析的粗粒煤堆密度组成估计
[J].
/
〈 |
|
〉 |
