基于 Stacking 模型的采空区稳定性预测
1.
2.
Stability Prediction of Goaf Based on Stacking Model
1.
2.
通讯作者:
收稿日期: 2020-02-29 修回日期: 2020-06-11 网络出版日期: 2021-01-29
基金资助: |
|
Received: 2020-02-29 Revised: 2020-06-11 Online: 2021-01-29
关键词:
Keywords:
本文引用格式
王牧帆, 罗周全, 于琦.
WANG Mufan, LUO Zhouquan, YU Qi.
在矿山开采过程中,以空场法为主的采矿技术在开采之后会留下大量的采空区,存在安全隐患。因此对采空区稳定性的预测尤为重要。采空区稳定性的分析方法主要有数值模拟法、理论分析法和预测法[1]。常用的数值模拟法[2-4]主要包括有限差分法、有限元法、离散元法和边界元法。目前已有许多发展成熟的数值模拟软件,为采空区的稳定性研究提供了时间与空间上的便利,但如何建立与实际情况相似的和维实体模型仍然是数值模拟法的难题。理论分析法[5-6]是将采空区简化为一个可进行计算、便于分析的数学或力学模型,通过对简化后的模型进行求解来达到稳定性的分析。理论分析法和数值模拟存在相同的难点,即需要所建立的模型与实际采空区足够匹配且能够计算。预测法[7-9]则不需要精准的建模,其通过构建一套影响采空区稳定性因素的评价体系来快速准确地完成对采空区稳定性的预测。
以上关于机器学习在采空区稳定性评价中的研究取得了一定的进展,但是大多数研究采用的机器学习算法都是单一算法,容易陷入过拟合的问题,降低了模型预测的准确度。集成学习包含了多种不同的学习器,由于每个学习器的决策边界与误差不相同,在一定策略下将其进行组合后可以有效降低总误差,类似对单个学习器的纠正错误的行为,能够有效缓解过拟合的现象,增强模型泛化能力。本文使用强学习器进行组合的Stacking集成学习方法,对采空区稳定性进行更精准的预测评价。通过对比Stacking模型与传统模型的F1值与AUC值来证明Stacking集成学习方法对采空区稳定性的预测具有更好的性能。
1 Stacking方法
Stacking方法是Wolpert [15]于1992年提出的一种集成学习(Ensemble Learning)的机器学习方法。其核心思想是通过对多个机器学习模型进行训练,将各个模型的预测输出作为新特征输入,再由另一个机器学习模型进行最终的训练,从而提高模型的准确度,减少泛化误差。通常 Stacking 模型融合可以突出效果好的初级学习器,同时抹黑执行效果不佳的初级学习器,所以预测效果优于单个模型。
在对采空区进行稳定性预测时,由于每个采空区在相同特征下的特征值分布不同,各种机器学习模型对不同分布特征值的敏感度不同,很难在短时间内找到合适的模型去适配目标采空区。利用Stacking方法将多种单一的机器学习模型Stacking进行耦合,提高模型对目标的下限,同时保留了模型对目标的上限,这样得到的Stacking模型就能对采空区稳定性进行更加精准的预测评价。
1.1 Stacking方法的主要步骤
Stacking一般是2层构造。第一层是由各个初级学习器组成,输入原始数据集进行训练。第二层是将初级学习器的输出作为一个新的特征数据集输入次级学习器(Meta-learner)中再进行训练,从而完成模型的堆叠融合。Stacking模型流程如图1所示。
图1
Stacking方法的主要步骤如下:
(1)由于次级训练集是由初级学习器生成的,若直接使用初级学习器的训练集来生成次级训练集,则过拟合风险较大。因此先将训练集进行k折划分,每个模型使用k-1份进行训练,剩下1份用来做训练时的检验,并对测试集进行预测,本文k值取5。
(2)对每个模型进行训练。如图 2所示,以模型A为例,保留第1,2,3,4份数据用于训练,第5份数据用于测试,记录该折的预测结果与对训练集的预测。依此类推,每个模型会有5轮训练,对测试集的5个预测值取平均值,并拼接每折的预测结果。每个模型都是同样的方法训练。
图2
(3)将所有模型的预测结果拼接上各个样本的真实标签,代入到次级学习器中进行训练,最终预测得到的结果就是Stacking融合模型的预测结果。
1.2 学习器的选择
Stacking模型要求初级学习器之间的相关性尽量小,同时初级学习器之间的性能差异不能太大。如果将2层Stacking模型类比成简单的2层神经网络,那么第一层的初级学习器相当于神经网络里的神经元,因此要求初级学习器具备足够强的性能。据此特性本文选用以下 4 个初级学习器:
(1)Random Frost。Random Frost(随机森林)是 Breiman[16]在 2001年提出的一种基于Bagging 的集成学习算法。原理是通过组合多个弱学习器,最终结果通过投票或者取均值,使得整体模型的结果具有较高的精度和泛化性能。
(2)Adaboost。该算法的全称是 Adaptive Boos-ting(自适应增强),是 Boosting 算法最著名的代表,由 Freund等[17]于 1995年改进Boosting算法得到。原理是通过调整样本的权重和弱分类器的权值,从训练出的弱分类器中筛选出权值系数最小的弱分类器组合成一个最终的强分类器。
(3)ExtraTrees。ExtraTrees(极端随机树,简称 ET)是由Geurts等[18]于2006年提出的。该算法与随机森林算法十分相似,都是由许多决策树构成。但该算法与随机森林有2点不同:首先,ET是使用所有的训练样本得到每棵决策树,并非如随机森林应用的是Bagging模型;其次,随机森林是在一个随机子集内得到最佳分叉属性,而ET是完全随机得到分叉值,从而实现对决策树进行分叉的。
(4)LightGBM。LightGBM(高效梯度提升决策树)是微软的开源分布式高性能Gradient Boosting 框架[19],使用基于决策树的学习算法。LightGBM采用Histogram算法,其思想是将连续的浮点特征离散成 k个离散值,并构造宽度为 k的 Histogram(直方图),然后遍历训练数据,统计每个离散值在直方图中的累计统计量。在进行特征选择时,只需要根据直方图的离散值,遍历寻找最优的分割点。
为了减少过拟合的情况,Stacking模型的第二层次级学习器应该选择较为简单的学习器。同样是类比神经网络,第二层相当于激活函数或者输出层,不需要再通过复杂的学习器训练。因此本文选择Logistic Regression(逻辑回归)作为次级学习器。
2 采空区稳定性预测的Stacking模型构建
在影响采空区稳定性的因素中,选择以下11个主要特征来构建模型:岩体结构(X1)、地质构造(X2)、地下水(X3)、采空区工程布置(X4)、采动扰动情况(X5)、相邻空区情况(X6)、采空区的体积(X7)、采空区顶板暴露面积(X8)、采空区埋藏深度(X9)、采空区跨高比(X10)和岩石抗压强度(X11)。其中,X1、X2、X3、X4、X5和X6为定性特征,X7、X8、X9、X10和X11为定量特征。
表 1 采空区稳定性等级分级标准
Table 1
稳定性等级 | 稳定性状况 | 失稳风险 |
---|---|---|
1 | 采空区稳定性很好 | 无失稳风险或失稳风险很小 |
2 | 采空区基本稳定或稳定性较好 | 失稳风险较低 |
3 | 采空区稳定性较差 | 失稳风险较大 |
4 | 采空区不稳定或稳定性极差 | 失稳风险很大 |
表2 定性指标评分标准
Table 2
因素影响程度等级 | 地质因素 | 水文因素 | 采空区因素 | 环境因素 | 评分范围 | ||
---|---|---|---|---|---|---|---|
岩体结构 (X1) | 地质构造 (X2) | 地下水 (X3) | 采空区工程 布置(X4) | 采动扰动情况(X5) | 相邻空区情况 (X6) | ||
1 | 完整块状结构 | 无断层、褶皱 | 无淋水痕迹 | 合理 | 开采范围无爆破作业影响 | 影响范围内无其他采空区,为孤立空区或为6R之外(R为孤立空区半径) | 0.75~1.00 |
2 | 层状结构 | 褶皱影响小 | 围岩可见水迹 | 比较合理 | 开采范围爆破作业影响一般 | 影响范围内采空区面积一般,数量不多且相邻较近 | 0.50~0.75 |
3 | 碎裂结构 | 断层部分切割或褶皱影响大 | 雨季有淋水 | 部分合理 | 开采范围采场作业影响较大 | 影响范围内采空区面积大,数量多,但分布较为分散 | 0.25~050 |
4 | 松散结构 | 断层贯穿围岩 | 长期有淋水 | 布置不合理 | 开采范围采场作业影响大 | 影响范围内采空区面积较大,数量较多,相邻较近且比较密集,为采空区群 | 0~0.25 |
在实际评价中,由评价人员根据矿山实际情况,对照该评分表进行合理给分。给分后的各影响因素,得分均在 0~1 之间,与训练数据大小相符。
3 工程应用实例
在工程实践中收集整理来自凡口铅锌矿的采空区数据共60组。凡口铅锌矿于1958年建矿,1968年正式投产,经过多次技术改造,1990年形成了日处理铅锌矿石3 000 t的生产能力,2002年日处理铅锌矿石达到了4 500 t,年产铅锌金属量1.5×105 t,近年来铅锌金属产量已连续5年达到1.5×105 t。
表3 训练集数据
Table 3
序号 | 岩体结构(X1) | 地质构造(X2) | 地下水(X3) | 采空区工程布置(X4) | 采动扰动情况(X5) | 相邻空区情况(X6) | 采空区体积(X7)/m3 | 采空区顶板暴露面积(X8)/m2 | 采空区埋藏深度(X9)/m | 采空区跨高比(X10) | 岩石抗压强度(X11)/MPa | 等级 |
---|---|---|---|---|---|---|---|---|---|---|---|---|
30 | 2 | 1 | 3 | 2 | 3 | 3 | 148 750 | 1 750 | 350 | 3 | 44 | 3 |
31 | 1 | 1 | 1 | 2 | 1 | 1 | 12 100 | 1 210 | 350 | 1 | 52 | 1 |
32 | 1 | 1 | 1 | 2 | 3 | 3 | 17 160 | 1 320 | 375 | 2 | 56 | 2 |
33 | 1 | 1 | 1 | 1 | 3 | 3 | 27 675 | 3 690 | 210 | 2 | 57 | 2 |
34 | 2 | 2 | 3 | 3 | 3 | 3 | 25 560 | 1 420 | 210 | 3 | 41 | 3 |
35 | 1 | 2 | 3 | 2 | 4 | 3 | 43 680 | 1 680 | 290 | 3 | 40 | 3 |
36 | 2 | 2 | 4 | 2 | 4 | 4 | 81 270 | 1 290 | 290 | 3 | 43 | 3 |
37 | 1 | 2 | 2 | 2 | 4 | 4 | 128 240 | 4 580 | 400 | 3 | 42 | 4 |
38 | 3 | 2 | 2 | 2 | 3 | 2 | 41 580 | 1 260 | 148 | 4 | 94 | 2 |
39 | 2 | 3 | 3 | 3 | 3 | 3 | 14 112 | 588 | 146 | 3 | 75 | 2 |
40 | 3 | 3 | 2 | 2 | 3 | 2 | 29 988 | 1 428 | 148 | 2 | 98 | 2 |
41 | 3 | 3 | 2 | 3 | 3 | 2 | 26 460 | 882 | 145 | 2 | 83 | 2 |
42 | 3 | 3 | 2 | 2 | 3 | 2 | 13 230 | 630 | 146 | 3 | 77 | 2 |
43 | 3 | 1 | 2 | 2 | 3 | 3 | 65 950 | 4 380 | 259 | 3 | 39 | 4 |
44 | 1 | 1 | 2 | 3 | 3 | 3 | 75 331.7 | 3 596 | 230 | 3 | 41 | 3 |
45 | 3 | 3 | 2 | 2 | 2 | 1 | 104 661 | 2 499 | 166 | 2 | 59 | 3 |
表4 测试集数据
Table 4
序号 | 岩体结构(X1) | 地质构造(X2) | 地下水(X3) | 采空区工程布置(X4) | 采动扰动情况(X5) | 相邻空区情况(X6) | 采空区体积(X7)/m3 | 采空区顶板暴露面积(X8)/m2 | 采空区埋藏深度(X9)/m | 采空区跨高比(X10) | 岩石抗压强度(X11)/MPa | 等级 |
---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | 1 | 1 | 1 | 1 | 3 | 3 | 39 843 | 4 942 | 190 | 1 | 52 | 1 |
2 | 2 | 2 | 3 | 1 | 1 | 1 | 70 477 | 2 540 | 202 | 1 | 49 | 3 |
3 | 2 | 4 | 2 | 3 | 3 | 4 | 26 360 | 1 191 | 261 | 3 | 73 | 3 |
4 | 2 | 1 | 1 | 1 | 1 | 1 | 70 815 | 1 595 | 192 | 2 | 46 | 2 |
5 | 1 | 1 | 2 | 2 | 3 | 4 | 117 333 | 1 882 | 404 | 2 | 45 | 2 |
6 | 3 | 3 | 2 | 2 | 1 | 1 | 104 661 | 2 498 | 165 | 3 | 59 | 3 |
7 | 1 | 3 | 3 | 2 | 3 | 2 | 6 128 | 3 498 | 232 | 1 | 50 | 2 |
8 | 2 | 2 | 4 | 2 | 4 | 4 | 86 811 | 1 326 | 278 | 3 | 44 | 4 |
9 | 2 | 1 | 1 | 3 | 1 | 3 | 125 955 | 3 888 | 415 | 1 | 44 | 2 |
10 | 2 | 4 | 2 | 3 | 3 | 4 | 26 360 | 1 191 | 261 | 2 | 73 | 3 |
11 | 1 | 1 | 1 | 1 | 3 | 3 | 11 220 | 1 986 | 225 | 1 | 54 | 1 |
12 | 1 | 1 | 1 | 1 | 1 | 1 | 74 880 | 2 186 | 191 | 2 | 52 | 2 |
13 | 1 | 2 | 1 | 2 | 4 | 3 | 9 750 | 1 359 | 184 | 2 | 54 | 2 |
14 | 1 | 1 | 1 | 1 | 1 | 1 | 39 840 | 2 547 | 225 | 2 | 54 | 1 |
15 | 3 | 3 | 2 | 2 | 1 | 1 | 104 661 | 2 498 | 165 | 3 | 59 | 3 |
表5 Stacking 模型与各个初级学习器的效果对比
Table 5
模型 | 准确率 | 召回率 | F1 值 |
---|---|---|---|
Random Frost | 0.911 | 0.866 | 0.868 |
Adaboost | 0.946 | 0.933 | 0.934 |
ExtraTrees | 0.927 | 0.900 | 0.901 |
LightGBM | 0.927 | 0.900 | 0.901 |
Stacking | 0.970 | 0.966 | 0.967 |
ROC(受试者工作特征曲线)曲线图是用来衡量模型的泛化能力的,由横坐标假正例率和纵坐标真正例率构成,曲线越靠近左上角,表示模型的泛化能力越强。由图3可知,Stacking模型的ROC曲线相比各个初级学习器的曲线都更靠近左上角,其AUC(Area Under Curve)值高达0.97,均高于其他几个模型的 AUC 值,表明 Stacking 模型比各个初级学习器具备更强的泛化能力和应用价值。
图3
图3
Stacking 模型与各个初级学习器的 ROC 曲线图
Fig.3
ROC curves of Stacking model and each primary learner
表6 Stacking 模型与各个初级学习器的预测结果对比
Table 6
实际等级 | Stacking | Adaboost | LightGBM | RandomFrost | ExtraTrees |
---|---|---|---|---|---|
1 | 1 | 1 | 1 | 1 | 1 |
3 | 3 | 3 | 3 | 3 | 3 |
3 | 3 | 3 | 3 | 3 | 3 |
2 | 2 | 2 | 2 | 1 | 2 |
2 | 2 | 1 | 3 | 2 | 3 |
3 | 3 | 3 | 3 | 3 | 3 |
2 | 2 | 2 | 2 | 2 | 2 |
4 | 4 | 4 | 3 | 3 | 3 |
2 | 2 | 2 | 2 | 2 | 2 |
3 | 3 | 3 | 3 | 3 | 3 |
1 | 1 | 1 | 1 | 1 | 1 |
2 | 2 | 2 | 2 | 2 | 2 |
2 | 2 | 2 | 2 | 2 | 2 |
1 | 1 | 1 | 1 | 1 | 1 |
3 | 3 | 3 | 3 | 3 | 3 |
4 结论与展望
(1)采用了对采空区稳定性影响最大的11个因素作为特征值,对其中的6个定性指标进行量化后与5个定性指标一起,由专家进行评分来制作训练集与测试集数据。综合构建了以Random Frost、Adaboost、ExtraTrees、LightGBM为初级学习器,LogisticRegression为次级学习器的Stacking模型,并对采空区稳定性进行预测。
(2)通过对测试集数据进行预测可知,Stacking模型的AUC值为0.97、F1值为0.967,均大于单一机器学习模型中各个模型的AUC值和F1值,证明Stacking模型的预测准度高于Random Frost等传统的机器学习模型,并且表现出更好的泛化能力。
(3)今后研究将在初级学习器加入有别于机器学习的深度学习神经网络模型来对Stacking模型进行横向的拓展。
http://www.goldsci.ac.cn/article/2020/1005-2518/1005-2518-2020-28-6-894.shtml
参考文献
矿山采空区稳定性分析及安全治理方法研究
[J].,
Mine goaf stability analysis and security management method research
[J].,
三维有限元数值模拟在采空区稳定性评价中的应用
[J].,
Application of three-dimensional finite element numerical simulation in stability evaluation of mined-out area
[J].,
基于3DMine-FLAC3D的复杂空区稳定性分析
[J].,
Stability analysis of complex goaf based on 3DMine-FLAC3D
[J].,
基于ANSYS的采空区稳定性数值模拟分析
[J].,
Numerical simulation analysis of goaf stability based on ANSYS
[J].,
大型采空区顶板冒落危害预测
[J].,
Hazard prediction of roof caving in large goaf
[J].,
崩落法转充填法隔离层安全厚度的确定
[J].,
Determination of safety thickness of isolation layer during transition from caving to cut-and-fill stoping
[J].,
典型曲线法在山东龙口软岩煤矿区开采沉陷预测中的应用
[J].,
Establishment and application of typical curve method for Longkou soft rock coal-mining area in Shandong Province
[J].,
基于概率积分法和Kalman滤波模型的矿区变形预测
[J].,
Mining deformation prediction based on probability integral method and Kalman filter model
[J].,
基于突变级数法的岩体质量评价
[J].,
Rock mass quality assessment based on catastrophe progression method
[J].,
基于支持向量机的采空区稳定性分级
[J].,
Classification of goaf stability based on support vector machine
[J].,
基于逻辑回归-聚类算法的采空区危险等级评价模型
[J].,
Risk grade evaluation model of goaf based on logical regression and clustering algorithm
[J].,
基于AGA-BP神经网络的采空区危险性评价
[J].,
Evaluation on risk of goaf based on AGA-BP neural network
[J].,
Evaluation of goaf stability based on transfer learning theory of artificial intelligence
[J].,
基于PCA-SVM 的采空区危险性评价
[J].,
Dangerous assessment based on PCA-SVM for stoped-out area
[J].,
A decision-theoretic generalization of on-line learning and an application to boosting
[C]//
LightGBM:A highly efficient gradient boosting decision tree
[C]//
基于盲数理论的采空区危险性评价模型
[J].,
Risk evaluation model of goaf based on blind number theory
[J].,
基于层次可拓分析法的采空区塌陷危险性评价研究
[J].,
Risk evaluation of underground goaf collapse based on the hierarchy extension analysis
[J].,
/
〈 | 〉 |