基于数据增强和集成学习的矿物图像识别

doi:10.13745/j.esf.sf.2024.5.6

地学前缘 ›› 2024, Vol. 31 ›› Issue (4): 87-94.DOI: 10.13745/j.esf.sf.2024.5.6

基于数据增强和集成学习的矿物图像识别

王琳¹(), 季晓慧¹^,^*(), 杨眉², 何明跃², 张招崇³, 曾姗¹, 王玉柱¹

1.中国地质大学(北京) 信息工程学院, 北京 100083
2.中国地质大学(北京) 国家岩矿化石标本资源库, 北京 100083
3.中国地质大学(北京) 地球科学与资源学院, 北京 100083

收稿日期:2023-08-30 修回日期:2024-02-27 出版日期:2024-07-25 发布日期:2024-07-10
通信作者: * 季晓慧(1977—),女,博士,副教授,主要从事人工智能应用研究。E-mail: xhji@cugb.edu.cn
作者简介:王琳(1999—),女,硕士研究生,主要从事深度学习、矿物图像识别研究。E-mail: wanglin1911@email.cugb.edu.cn
基金资助:
国家科技资源共享服务平台——国家岩矿化石标本资源库子项目(NCSTI-RMF20230107)

Mineral identification based on data augmentation and ensemble learning

WANG Lin¹(), JI Xiaohui¹^,^*(), YANG Mei², HE Mingyue², ZHANG Zhaochong³, ZENG Shan¹, WANG Yuzhu¹

1. School of Information Engineering, China University of Geosciences (Beijing), Beijing 100083, China
2. National Mineral Rock and Fossil Specimens Resource Center from MOST, China University of Geosciences (Beijing), Beijing 100083, China
3. School of Earth Sciences and Resources, China University of Geosciences (Beijing), Beijing 100083, China

Received:2023-08-30 Revised:2024-02-27 Online:2024-07-25 Published:2024-07-10

摘要/Abstract

摘要：

矿物识别是地质学研究的一个重要部分,对于资源勘探、岩石分类和地质环境监测都有着重要的意义。然而,传统方法通常依赖人的经验进行主观判断,并且效率低下。近年来,已有许多研究将深度学习的图像分类技术应用于矿物识别,以客观快速地识别矿物,这些研究都取得了一定的成果,但可识别矿物种类有限且精度需要进一步提升。为此本文首先解决了矿物数据集图像数据样本分布不平衡问题,对数据集中矿物图像较少的11个矿物类别采用DCGAN生成矿物图像进行数据增强,对比选择效果更好的方案对数据集进行扩充。其次,为了得到更可靠、精确度更高的识别模型,将ImageNet上表现较好的ResNet、RegNet、EfficientNet和Vision Transformer模型迁移到本文使用的矿物数据集上。针对训练好的基模型排列组合得到11个子模型,分别使用平均软投票法和加权软投票法两种方法进行集成,得到22个集成模型并对其训练得到识别结果,对比22个集成模型的结果选择出精度最高的集成模型。实验结果表明:使用DCGAN进行数据增强,在不同的模型上平均提升了3.12%的准确率,充分证明了DCGAN数据增强的有效性;在所有集成模型中,使用加权软投票法的模型表现较好,其中精度最高的是利用4个基分类模型进行加权软投票得到的集成模型,在扩充后的36种常见矿物数据集上达到了87.47%的准确率。

关键词: 矿物识别, 深度卷积生成对抗网络, 数据增强, 集成学习

Abstract:

Mineral identification as a crucial aspect of geosciences is of great importance to resource exploration, rock classification, and geological monitoring. However, traditional methods are inefficient as they often rely on human experience and subjective judgment. In recent years deep learning-based image classification has been used for accurate and rapid mineral identification. While these studies have achieved certain results, the number of identifiable mineral types are limited and the identification accuracy need to be further improved. This paper aims to address the issue of uneven distribution of mineral image samples in a mineral dataset on 36 common minerals. DCGAN is first used to generate images for data augmentation focusing on the 11 minerals with low sample counts, and the best set of images is selected, by comparison, to expand the dataset. Next, to obtain a more reliable and precise identification model, ResNet, RegNet, EfficientNet, and Vision Transformer models with better performance on ImageNet are transferred to the mineral dataset. Based on the permutations of the trained base models, 11 ensemble models are obtained, with which 24 identification results are obtained using two voting methods, average and weighted soft voting. These results are then compared to select the one with the highest accuracy. The experimental results demonstrated that data augmentation using DCGAN improved the model accuracy by 3.12% averaged over all models. Among the ensemble models, weighted soft voting performed better and achieved the highest accuracy of 87.47% on the augmented dataset.

Key words: mineral identification, deep convolutional generative adversarial networks, data augmentation, ensemble learning

中图分类号:

TP391.4
P57

王琳, 季晓慧, 杨眉, 何明跃, 张招崇, 曾姗, 王玉柱. 基于数据增强和集成学习的矿物图像识别[J]. 地学前缘, 2024, 31(4): 87-94.

WANG Lin, JI Xiaohui, YANG Mei, HE Mingyue, ZHANG Zhaochong, ZENG Shan, WANG Yuzhu. Mineral identification based on data augmentation and ensemble learning[J]. Earth Science Frontiers, 2024, 31(4): 87-94.

图/表 12

参考文献 29

[1]	郝慧珍, 顾庆, 胡修棉. 基于机器学习的矿物智能识别方法研究进展与展望[J]. 地球科学, 2021, 46(9): 3091-3106.
[2]	周永章, 左仁广, 刘刚, 等. 数学地球科学跨越发展的十年: 大数据、人工智能算法正在改变地质学[J]. 矿物岩石地球化学通报, 2021, 40(3): 556-573, 777.
[3]	徐述腾, 周永章. 基于深度学习的镜下矿石矿物的智能识别实验研究[J]. 岩石学报, 2018, 34(11): 3244-3252.
[4]	彭伟航, 白林, 商世为, 等. 基于改进InceptionV3模型的常见矿物智能识别[J]. 地质通报, 2019, 38(12): 2059-2066.
[5]	郭艳军, 周哲, 林贺洵, 等. 基于深度学习的智能矿物识别方法研究[J]. 地学前缘, 2020, 27(5): 39-47. DOI
[6]	LIU C Z, LI M C, ZHANG Y, et al. An enhanced rock mineral recognition method integrating a deep learning model and clustering algorithm[J]. Minerals, 2019, 9(9): 516.
[7]	李明超, 刘承照, 张野, 等. 耦合颜色和纹理特征的矿物图像数据深度学习模型与智能识别方法[J]. 大地构造与成矿学, 2020, 44(2): 203-211.
[8]	杨彪, 马亦骥, 倪瑞璞, 等. 基于多尺度密集连接网络的矿物图像智能识别[J]. 云南大学学报(自然科学版), 2022, 44(6): 1118-1126.
[9]	杨彪, 倪瑞璞, 高皓, 等. 基于多分辨率图像的矿物特征自动提取与矿物智能识别模型[J]. 有色金属工程, 2022, 12(5): 84-93.
[10]	ZHOU W Y, WANG H, WAN Z B. Oreimage classification based on improved CNN[J]. Computers and Electrical Engineering, 2022, 99: 107819.
[11]	李雷, 卢才武, 江松, 等. 基于改进ConvNeXt网络的矿物图像智能识别[J/OL]. 地质通报: 1-11[2023-08-16]. http://kns.cnki.net/kcms/detail/11.4648.P.20230331.1254.002.html.
[12]	ZENG X, XIAO Y C, JI X H, et al. Mineral identification based on deep learning that combines image and mohs hardness[J]. Minerals, 2021, 11(5): 506.
[13]	WU B K, JI X H, HE M Y, et al. Mineral identification based on multi-label image classification[J]. Minerals, 2022, 12(11): 1338.
[14]	ANTONIOU A, STORKEY A, EDWARDS H. Data augmentation generative adversarial networks[EB/OL]. (2018-03-21)[2023-07-29]. https://arxiv.org/abs/1711.04340v2.
[15]	CRESWELL A, WHITE T, DUMOULIN V, et al. Generative adversarial networks: an overview[J]. IEEE Signal Processing Magazine, 2018, 35(1): 53-65.
[16]	BUSHRA S N, SHOBANA G. A survey on deep convolutional generative adversarial neural network (dcgan) for detection of Covid-19 using chest X-ray/CT-Scan[C]// Proceedings of the 3rd international conference on intelligent sustainable systems (ICISS), Thoothukudi. New York: IEEE, 2020: 702-708.
[17]	姜霞, 邱波, 王林倩, 等. 基于半监督模式的恒星光谱自动分类方法[J]. 光谱学与光谱分析, 2023, 43(6): 1875-1880.
[18]	甘岚, 沈鸿飞, 王瑶, 等. 基于改进DCGAN的数据增强方法[J]. 计算机应用, 2021, 41(5): 1305-1313. DOI
[19]	DONG X B, YU Z W, CAO W M, et al. A survey on ensemble learning[J]. Frontiers of Computer Science, 2020, 14(2): 241-258. DOI
[20]	SAQLAIN M, JARGALSAIKHAN B, LEE J Y. A voting ensemble classifier for wafer map defect patterns identification in semiconductor manufacturing[J]. IEEE Transactions on Semiconductor Manufacturing, 2019, 32(2): 171-182.
[21]	崔阳阳, 邓念东, 曹晓凡, 等. 基于集成学习的地质灾害危险性评价[J]. 水力发电, 2020, 46(10): 36-41.
[22]	李艳霞, 柴毅, 胡友强, 等. 不平衡数据分类方法综述[J]. 控制与决策, 2019, 34(4): 673-688.
[23]	LI J, JIA J J, XU D L. Unsupervised representation learning of image-based plant disease with deep convolutional generative adversarial networks[C]// Proceedings of the 37th Chinese control conference (CCC). New York: IEEE, 2018: 9159-9163.
[24]	蔡晓龙. 基于DCGAN算法的图像生成技术研究[D]. 青岛: 青岛理工大学, 2018.
[25]	ROKACH L. Ensemble learning: a survey[J]. Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery, 2018, 8(5): e1249.
[26]	HE K M, ZHANG X Y, REN S Q, et al. Deep residual learning for image recognition[C]// Proceedings of the IEEE conference on computer vision and pattern recognition. New York: IEEE, 2016: 770-778.
[27]	RADOSAVOVIC I, KOSARAJU R P, GIRSHICK R, et al. Designing network design spaces[C]// Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. New York: IEEE, 2020: 10428-10436.
[28]	TAN M X, LE Q V. Efficientnet: rethinking model scaling for convolutional neural networks[EB/OL]. (2020-09-11)[2023-07-02]. https://arxiv.org/abs/1905.11946.
[29]	DOSOVITSKIY A, BEYER L, KOLESNIKOV A, et al. An image is worth 16×16 words: transformers for image recognition at scale[EB/OL]. (2021-06-03)[2023-07-16]. https://arxiv.org/abs/2010.11929.

序号	矿物名称	数量	序号	矿物名称	数量	序号
1	玛瑙	3 225	13	锂电气石	5 439	25	黄铁矿	8 769
2	钠长石	1 775	14	绿帘石	3 720	26	石英	34 883
3	铁铝榴石	2 018	15	萤石	26 336	27	菱锰矿	4 276
4	硫酸铅矿	1 797	16	方铅矿	6 188	28	红宝石	820
5	蓝铜矿	7 924	17	自然金	4 545	29	蓝宝石	996
6	绿柱石	8 957	18	盐岩	756	30	黑电气石	2 099
7	锡石	3 205	19	赤铁矿	5 728	31	闪锌矿	6 354
8	黄铜矿	3 253	20	磁铁矿	2 445	32	辉锑矿	2 475
9	辰砂	1 605	21	孔雀石	6 796	33	硫黄	1 890
10	自然铜	5 288	22	白铁矿	1 608	34	黄玉	3 577
11	钙铁榴石	755	23	蛋白石	3 197	35	铜铀云母	1 100
12	透辉石	1 586	24	雌黄	720	36	钼铅矿	7 583

序号	矿物名称	数量	序号	矿物名称	数量	序号
1	玛瑙	3 225	13	锂电气石	5 439	25	黄铁矿	8 769
2	钠长石	1 775	14	绿帘石	3 720	26	石英	34 883
3	铁铝榴石	2 018	15	萤石	26 336	27	菱锰矿	4 276
4	硫酸铅矿	1 797	16	方铅矿	6 188	28	红宝石	820
5	蓝铜矿	7 924	17	自然金	4 545	29	蓝宝石	996
6	绿柱石	8 957	18	盐岩	756	30	黑电气石	2 099
7	锡石	3 205	19	赤铁矿	5 728	31	闪锌矿	6 354
8	黄铜矿	3 253	20	磁铁矿	2 445	32	辉锑矿	2 475
9	辰砂	1 605	21	孔雀石	6 796	33	硫黄	1 890
10	自然铜	5 288	22	白铁矿	1 608	34	黄玉	3 577
11	钙铁榴石	755	23	蛋白石	3 197	35	铜铀云母	1 100
12	透辉石	1 586	24	雌黄	720	36	钼铅矿	7 583

生成器	鉴别器
(deConv2d,LReLU,Dropout)	(FullConnect,BN,LReLU)
(deConv2d,BN,LReLU,Dropout)	(FullConnect,BN,LReLU)
(deConv2d,BN,LReLU,Dropout)	(deConv2d,BN,LReLU)
(deConv2d,BN,tanh,Dropout)	(deConv2d,sigmoid)

生成器	鉴别器
(deConv2d,LReLU,Dropout)	(FullConnect,BN,LReLU)
(deConv2d,BN,LReLU,Dropout)	(FullConnect,BN,LReLU)
(deConv2d,BN,LReLU,Dropout)	(deConv2d,BN,LReLU)
(deConv2d,BN,tanh,Dropout)	(deConv2d,sigmoid)

实验环境	规格参数
GPU	NVIDIA Tesla P100-PCIE
显存	12 GB
操作系统	CentOS Linux 7 (Core)
编程语言	Python 3.9.13
深度学习框架	Pytorch 2.0.1
CUDA版本	11.7

基于数据增强和集成学习的矿物图像识别

Mineral identification based on data augmentation and ensemble learning

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 12

参考文献 29

相关文章 3

编辑推荐

Metrics

本文评价

序号	名称	扩充前数量	方案一		方案二
序号	名称	扩充前数量	扩充后数量	增加量	扩充后数量	增加量
2	钠长石	1 775	2 061	286	2 061	286
9	辰砂	1 605	1 890	285	2 073	468
11	钙铁榴石	755	975	220	2 004	1 249
12	透辉石	1 586	1 865	279	2 121	535
18	盐岩	756	984	228	2 012	1 256
22	白铁矿	1 608	1 892	284	2 040	432
24	雌黄	720	937	217	2 003	1 283
28	红宝石	820	1 063	243	2 009	1 189
29	蓝宝石	996	1 257	261	2 002	1 006
33	硫黄	1 890	2 181	291	2 181	291
35	铜铀云母	1 100	1 372	272	2 021	921

参数	ResNet_50	ResNet_101	RegNetX_600MF	EfficientNet_b4	ViT_base_16_224
Image-Height	224	224	224	224	224
Image-Width	224	224	224	224	224
Batch Size	32	32	32	32	32
Epoch	20	20	30	30	10
momentum	0.9	0.9	0.9	0.9	0.9
Weight_decay	5e-5	5e-5	5e-5	1e-4	5e-5
学习率	0.000 5	0.000 5	0.001	0.01	3e-4

模型类型	模型名称	扩充前精度/%	方案一		方案二
模型类型	模型名称	扩充前精度/%	精度/%	精度提升/%	精度/%	精度提升/%
ResNet	ResNet_50	73.02	75.25	2.23	76.31	3.29
ResNet	ResNet_101	76.11	78.23	2.12	79.32	3.21
RegNet	RegNetX_600MF	72.38	74.42	2.04	75.49	3.11
Vision Transformer	Vit_base_16_224	75.97	77.86	1.89	78.95	2.98
EfficientNet	EfficientNet_b4	78.15	80.09	1.94	81.17	3.02

序号	模型组合	集成后精度/%
序号	模型组合	平均软投票	加权软投票
1	(ResNet_101,RegNet,EfficientNet,ViT)	81.52	84.45
2	(ResNet_101,RegNet,EfficientNet)	82.10	83.49
3	(ResNet_101,RegNet,ViT)	80.87	82.28
4	(ResNet_101,EfficientNet,ViT)	82.02	83.37
5	(RegNet,EfficientNet,ViT)	81.79	83.29
6	(ResNet_101,RegNet)	79.43	79.41
7	(ResNet_101,EfficientNet)	81.71	81.74
8	(ResNet_101,ViT)	80.09	80.72
9	(RegNet,EfficientNet)	79.10	82.03
10	(RegNet,ViT)	79.94	80.96
11	(EfficientNet,ViT)	81.35	82.01

[1]	万成舟, 季晓慧, 杨眉, 何明跃, 张招崇, 曾姗, 王玉柱. 基于渐进多粒度训练深度学习的矿物图像识别[J]. 地学前缘, 2024, 31(4): 112-118.
[2]	付宇, 曹文庚, 张春菊, 翟文华, 任宇, 南天, 李泽岩. 基于集成学习优化的河套盆地地下水砷风险评估[J]. 地学前缘, 2024, 31(3): 371-380.
[3]	郭艳军, 周哲, 林贺洵, 刘小辉, 陈丹丘, 祝佳琪, 伍峻琦. 基于深度学习的智能矿物识别方法研究[J]. 地学前缘, 2020, 27(5): 39-47.