简介面向目标检测学习者和地质、矿业研究者的岩石表面矿物质检测数据集专为YOLO系列网络训练而整理。包内含超过1000张高分辨率岩石表面图像及对应标签并经过数据增强处理可直接用于模型训练与验证。资源总计2000个文件其中jpg图像861张、txt标签文件1138个另附1个Python可视化脚本压缩包大小约59.08MB已按训练集、验证集划分class文件清晰标定石英、斑铜矿、黄铁矿等8类矿物质。配套show脚本可将检测框实时绘制到图像上便于调试与结果展示。目前已有454人学习使用适合需要快速开展岩石矿物目标检测实验、验证YOLO算法效果的研究者与开发者也可用于算法对比、论文实验和课程设计等场景。1. 拿到 1000 张岩石标注图你的模型为什么还是训不动——这个数据集到底解决什么问题做矿山数字化和野外岩心编录的人大概率都经历过这种落差从网上下了一个“岩石表面矿物质检测数据集”解压一看1000 多张 JPEG 外加同样数量的标签文件心里想着怎么着也能训出一个像样的目标检测模型了。结果模型跑起来mAP 卡在 0.3 上下黄铁矿和石英经常互相认错小颗粒矿物几乎全漏。问题不在模型也不在你笨而是岩石表面这个场景本身就属于目标检测里最不友好的那类数据目标密集、尺度极端、类别边界模糊。这篇文章从数据标注的正确打开方式讲起把这类地质影像数据处理成 YOLO 能稳定吃进去的格式再给你一套能直接落地的训练参数和避坑清单。适合刚接触目标检测、但手里已经有一批地质图像或标注数据的从业者也适合做矿物识别方向的学生。2. 先看清数据长什么样图像构成、标注对象与标签设计2.1 岩石表面图像和通用目标检测数据集的三个本质差异如果你之前只跑过 VOC 或者 COCO 这类自然图像数据集第一次接触岩石表面数据时会有一种明显的不适感图里没有“主体”。自然图像里一只猫、一辆车目标占画面比例大且轮廓清楚岩石表面不一样一块手标本照片里可能同时出现十几种矿物彼此嵌生在一起边界靠颜色和光泽硬猜。第一个差异是目标密集且尺度跨度极大。有些矿物颗粒在图里占了上百像素而有些细脉、微晶只有 8×8 像素。标准 640×640 输入下8 像素的微小目标经过下采样后特征基本丢失必然漏检。第二个差异是类间视觉相似度高。黄铁矿和黄铜矿在颜色上都是金属光泽黄铁矿偏淡黄铜色黄铜矿偏金黄在普通室内光源下拍出来的照片人眼都不一定能立刻区分何况模型。很多岩矿数据集的标签体系是按矿物学分类做的但检测模型需要的是“人眼能稳定区分”的类别粒度。第三个差异是背景干扰强。岩石的颗粒纹理、裂隙、气孔、包裹体这些在图像里都构成极强的背景响应很容易被模型当成候选框。行业内做岩石图像检测的老手都知道这个领域模型翻车一半以上是背景误报而不是目标漏检。所以你在处理这类数据集之前先要把预期调整过来这不是一个“下载下来直接跑通”的数据集而是一个需要你做标注质检、类别合并、尺度策略设计的专业数据。2.2 矿物类别划分与标签体系怎么定拿到数据集之后第一件事不是写训练脚本而是打开标签文件把所有出现过的类别名列出来。岩石表面矿物质数据集里常见的类别有黄铁矿、磁铁矿、石英、长石、云母、方解石等。很多数据集目前的标签粒度是按大类分的比如“石英”一类里实际包含了好几种颜色形态的 SiO₂ 变体。这个粒度对于检测任务来说往往是合适的因为模型本质上学的不是矿物物理属性而是颜色、纹理、光泽的组合特征。我的习惯是按“目视可鉴定”原则重新审查一遍类别表具体规则是颜色和光泽在普通照片里能稳定区分的保留为独立类别区分不了的合并成同一个类别。如果两类矿物经常共生且边界模糊优先合并。检测模型不需要矿物学精度它需要的是人工标注的一致性和可复现性。类别名不要用空格和特殊字符全部用小写英文字母命名。比如pyrite、chalcopyrite、quartz不要用Pyrite(1)这种带括号或编号的名字。类别确定之后还要检查标签枚举值是否连续。如果你发现标签文件里出现class_id5但类别表里只有 5 个类别那大概率是标注工具遗留的无效类别直接过滤掉。这一步不做好后面训练时类别数对不上数据配置文件训练过程会报维度错误甚至训练日志照常跑但模型输出维度一直是错的。2.3 标注质量快速体检先花半小时看分布再开训我一般拿到任何带 bbox 标注的数据集会先写一个极短的统计脚本检查三件事每个 bbox 的面积分布、是否有坐标越界、是否有空标签图像。这步能帮你躲开很多后期排查成本。代码大概长这样import os from collections import Counter label_dir labels img_w, img_h 1280, 960 # 按实际图像尺寸填 cls_counter Counter() area_list [] bad_files [] for fname in os.listdir(label_dir): if not fname.endswith(.txt): continue fpath os.path.join(label_dir, fname) with open(fpath, r) as f: lines f.readlines() if len(lines) 0: bad_files.append(fname _empty) continue for line in lines: parts line.strip().split() cls_id int(parts[0]) cx, cy, w, h map(float, parts[1:]) if w 0 or h 0 or cx 0 or cy 0: bad_files.append(fname _invalid) continue if cx w / 2 1.0 or cy h / 2 1.0: bad_files.append(fname _out_of_bounds) cls_counter[cls_id] 1 area_list.append(w * img_w * h * img_h) print(类别分布:, cls_counter) print(最小面积:, min(area_list), 最大面积:, max(area_list)) print(异常文件:, bad_files[:20])这段脚本的逻辑很简单读取 YOLO 格式的每个 txt按归一化坐标解析检查 bbox 的宽高是否为正数、中心点是否超出图像边界、类别 ID 是否落在有效范围同时统计每个类别的样本数量和 bbox 像素面积。你需要根据实际图片的分辨率把img_w和img_h改对否则面积分布完全失真。跑完这个脚本你能得到两个关键信息如果最小面积只有几十像素那说明这张图里存在大量微型矿物颗粒后面训练时输入分辨率必须提高如果某个类别的样本数只有另外一类的十分之一那训练时就要考虑类别不平衡问题可别等训完看结果时才后悔。提示YOLO 格式的坐标全部归一化到 [0,1]所以抽查时需要乘回原图尺寸才知道真实像素大小。3. 把标签转成模型能吃的格式XML/VOC 到 YOLO txt 的转换脚本与边界处理3.1 三种常用标注格式的差异与选型岩矿检测数据集在网上下载时常见的标注格式有三种VOC XML、COCO JSON、YOLO txt。这三种格式各有各的适用场景。VOC XML 是一张图一个 XML 文件左上角加右下角像素坐标人类可读性好适合用 LabelImg 继续编辑COCO JSON 把所有图的标注聚合到一个 JSON 文件里自带类别表适合做分割和多模态任务YOLO txt 是每张图一个同名 txt每行一个目标格式为class_id cx cy w h坐标全部归一化到 0 到 1 之间。如果你是要用 YOLOv8 这类主流检测框架训练最终都要转成 YOLO txt。原因有三个一是读取效率高不用每次迭代都解析一个巨大的 JSON二是 PyTorch 生态里的 YOLO 系列训练器原生支持这个格式目录结构摆好就能训三是 txt 文件体积小方便随手做数据增删改查。手头常用的标注工具建议直接选 X-anyLabeling 或 LabelStudio这两个工具都能同时导出 VOC 和 YOLO 格式并且支持自动保存。如果你接手的数据集只有 XML那就老老实实写脚本转格式这也是岩石图像数据处理的日常。3.2 VOC XML 转 YOLO txt 的转换脚本下面这段脚本几乎可以直接抄走用。它会把 VOC 格式的 XML 批量转成 YOLO txt并且顺手过滤掉那些没有标注对象的图片。import os import xml.etree.ElementTree as ET def voc_xml_to_yolo_txt(xml_path, out_dir, classes): tree ET.parse(xml_path) root tree.getroot() img_w int(root.find(size/width).text) img_h int(root.find(size/height).text) out_lines [] for obj in root.iter(object): cls_name obj.find(name).text if cls_name not in classes: continue # 跳过不在类别表里的对象 cls_id classes.index(cls_name) bndbox obj.find(bndbox) xmin float(bndbox.find(xmin).text) ymin float(bndbox.find(ymin).text) xmax float(bndbox.find(xmax).text) ymax float(bndbox.find(ymax).text) xmin max(0, min(xmin, img_w)) xmax max(0, min(xmax, img_w)) ymin max(0, min(ymin, img_h)) ymax max(0, min(ymax, img_h)) if xmax - xmin 1 or ymax - ymin 1: continue # 过滤掉退化框 cx (xmin xmax) / 2 / img_w cy (ymin ymax) / 2 / img_h w (xmax - xmin) / img_w h (ymax - ymin) / img_h out_lines.append(f{cls_id} {cx:.6f} {cy:.6f} {w:.6f} {h:.6f}) if out_lines: out_name os.path.splitext(os.path.basename(xml_path))[0] .txt with open(os.path.join(out_dir, out_name), w) as f: f.write(\n.join(out_lines)) classes [pyrite, chalcopyrite, quartz, magnetite, biotite] xml_dir voc_xmls out_dir labels os.makedirs(out_dir, exist_okTrue) for f in os.listdir(xml_dir): if f.endswith(.xml): voc_xml_to_yolo_txt(os.path.join(xml_dir, f), out_dir, classes)转换脚本里有几个容易被忽略的细节。第一是坐标边界裁剪有些标注工具画框时会不小心把框拖出图像边缘导致 xmax 大于图像宽度如果不做min裁剪归一化后会出现大于 1 的坐标训练时 YOLO 会直接报错。第二是退化框过滤标注时鼠标抖动可能产生 1×1 像素的无意义框这种框对回归损失影响极大必须过滤。第三是类别名匹配转换时如果遇到类别表里不存在的名字脚本默认跳过而不是报错这样能避免单张 XML 里混入脏标签导致整个转换中断。3.3 数据集划分用固定随机种子别让同类图片全挤进验证集转换完成后下一步是把数据集按 8:1:1 划分成训练集、验证集和测试集。很多人的做法是直接random.shuffle然后切分不过我会建议按类别分层抽样——尤其是岩石数据集同一张手标本照片可能会被切出十来张重叠的图这些图内容高度相似。如果随机划分训练集和验证集里可能存在大量同源的近似图导致验证指标虚高。import os import random from collections import defaultdict random.seed(42) label_dir labels image_dir images train_ratio, val_ratio 0.8, 0.1 class_to_files defaultdict(list) for fname in sorted(os.listdir(label_dir)): if not fname.endswith(.txt): continue with open(os.path.join(label_dir, fname)) as f: lines f.readlines() if not lines: continue cls_ids set(int(line.split()[0]) for line in lines) for c in cls_ids: class_to_files[c].append(fname) train_set, val_set, test_set set(), set(), set() for cls_id, files in class_to_files.items(): random.shuffle(files) n_train int(len(files) * train_ratio) n_val int(len(files) * val_ratio) train_set.update(files[:n_train]) val_set.update(files[n_train:n_train n_val]) test_set.update(files[n_train n_val:]) def write_split(split_set, split_name): with open(f{split_name}.txt, w) as f: for fname in sorted(split_set): stem os.path.splitext(fname)[0] img_path os.path.join(image_dir, stem .jpg) if os.path.exists(img_path): f.write(img_path \n) write_split(train_set, train) write_split(val_set, val) write_split(test_set, test) print(len(train_set), len(val_set), len(test_set))这段脚本的核心是按类别分层划分每一类都独立参与切分保证所有类别的图片在训练集和验证集中都有代表性。生成的是三个 txt 文件每行一个图片路径YOLO 训练时直接引用它们。这里建议固定random.seed(42)方便复现。还要注意一个匹配细节如果图片格式不是 jpg 而是 png 或 bmp脚本里的stem .jpg需要改成对应后缀。更稳妥的做法是遍历图片目录按文件主名匹配而不是假设后缀。4. 用 YOLOv8 在本地训一个岩石矿物检测模型命令、参数与调优4.1 数据目录结构和 data.yaml 的写法格式转换和划分都做完之后目录结构建议整理成这样rock_dataset/ ├── images/ │ ├── train/ │ ├── val/ │ └── test/ ├── labels/ │ ├── train/ │ ├── val/ │ └── test/ ├── train.txt ├── val.txt └── rock.yamlYOLOv8 支持直接用train.txt里的图片路径列表训练但更省事的做法是使用 data.yaml。YAML 文件内容如下path: /home/user/rock_dataset train: train.txt val: val.txt test: test.txt names: 0: pyrite 1: chalcopyrite 2: quartz 3: magnetite 4: biotitepath写数据集的绝对路径train和val对应划分脚本生成的 txt 文件路径相对于path解析。names里行的顺序必须和转换脚本里的classes列表顺序完全一致因为 YOLO txt 文件里的类别 ID 就是按那个顺序写入的。这里有个很容易踩的坑如果你在训练前调整了类别顺序比如给classes列表加了新类别那么所有 txt 文件里的 ID 都要重新转换一遍不能只改 YAML。4.2 训练命令与关键参数说明数据准备完毕直接用 YOLOv8 的命令行开训。对于 1000 张出头的岩石矿物数据集我建议用 yolov8n 或 yolov8s 起步不要一上来就用 x 模型否则 GPU 显存吃紧且容易过拟合。yolo detect train \ modelyolov8s.pt \ datarock.yaml \ epochs200 \ imgsz1280 \ batch16 \ patience30 \ optimizerAdamW \ lr00.001 \ mosaic0.5 \ mixup0.1 \ projectruns/rock_detect \ nameexp1逐个解释关键参数的选择逻辑。imgsz1280是这组参数里最重要的一项岩石表面的小颗粒矿物在原始分辨率下通常只有 20 到 50 像素缩到 640 后基本不可辨1280 的输入尺寸能明显提高小目标召回率代价是训练速度慢三分之一左右显存占用翻倍但这是值得的。mosaic0.5表示马赛克增强的概率控制在 50%。YOLO 默认的 mosaic 是 1.0也就是每张训练图都做马赛克拼接。岩石表面图像纹理密集如果马赛克比例太高四张图拼在一起产生的矿物边界假象会干扰模型学真实形态特征所以我会刻意调低。mixup0.1同理混合比例很低只做轻微正则。patience30表示验证集指标连续 30 个 epoch 不提升就提前停止这能帮你省掉大量无效训练时间。1000 张图片训练 200 个 epoch在单张 3090 上大约需要 2 到 3 小时如果等 200 个 epoch 全跑完才看结果效率太低了。如果想从零训练而不是用预训练权重把modelyolov8s.pt改成modelyolov8s.yaml。不过对于岩矿数据我强烈建议用 COCO 预训练权重做迁移学习因为预训练模型已经学会了丰富的纹理和边缘特征能显著缩小收敛时间。这里没有现成预训练权重的话可以先跑一个之前用过的 COCO 模型作为初始化效果是一样的。4.3 训练过程怎么盯loss 曲线、验证指标与过拟合信号训练开始后不要干等。在runs/rock_detect/exp1/目录下Ultralytics 会自动生成results.csv和训练曲线图。我一般只看这几个指标窗口期的变化趋势指标看什么异常信号train/box_loss前 50 个 epoch 是否稳定下降不降反升学习率过大val/box_loss是否紧跟 train 下降与 train 拉开距离过拟合metrics/precision(B)最终应高于 0.75低于 0.5背景误报严重metrics/recall(B)最终应高于 0.7低于 0.5漏检太多metrics/mAP50(B)目标指标 0.6 以上算及格波动剧烈验证集太小你要特别关注 train 和 val 的 loss 曲线是否从某个 epoch 开始分叉。比如 train/box_loss 还在降val/box_loss 却开始横盘甚至上翘就从那个 epoch 开始过拟合了。遇到这种情况先从早停开始把patience保持在 30如果过拟合来得太早就降低lr0到 0.0005再把mosaic调低到 0.3甚至关闭 mixup。另外每轮训练结束confusion_matrix.png会自动生成这是一个非常有用的排错工具在第五章里我会详细讲怎么看它。5. 岩石数据集翻车避坑指南五个高频问题与排查方法5.1 小目标矿物几乎全漏检验证集 mAP 却很高现象推理时把大颗粒矿物全框出来了细脉状、微晶状的小矿物一个没检出但验证集 mAP 有 0.7看起来还不错。原因验证集和训练集划分时没有考虑图像来源同源图像同一块标本的不同角度照片同时进了训练集和验证集所以验证集反映不了真实场景的难度。另一个原因是模型输入尺寸只有 640小目标在骨干网络下采样后只剩几个像素。解决重新用 3.3 节的分层划分脚本按图像来源拆分数据集确保同一标本的照片要么全在训练集要么全在验证集。同时把推理时的imgsz也设为 1280保持训练和推理尺度一致。如果显存不够用就做滑窗裁图把原图切成四块有重叠的瓦片分别推理再合并结果这个操作在岩矿检测里非常常见。5.2 矿物边界处的检测框飘忽不定同一张图每次推理框位置都变现象模型虽然能框出矿物位置但同一个目标连续推理两次框的位置和大小有十几个像素的抖动。原因数据标注时边界框的标准不统一。比如有人按矿物可见轮廓标有人把旁边的阴影包进去了还有人只标了矿物的亮点核心。模型学到的框回归目标本身就方差很大推理时自然不稳定。解决用标注统计脚本检查同一类别 bbox 的宽高比分布。如果宽高比从 0.2 到 5.0 均匀分布那大概率是标注不一致。我一般会统一规范为“包含矿物全部可见表面但不包含阴影和裂隙”然后把明显偏离同类分布的超宽或超窄框挑出来回到数据里重新修正。这一步需要人工介入但值得做。标注一致性上去之后框抖动问题通常能缓解大半。5.3 亮闪闪的矿物表面引发大量假阳性现象模型把岩石上的强反光区域、水渍、甚至胶带反光识别成了矿物尤其是在黄铁矿这类金属光泽矿物附近。原因岩石表面的反光点和矿物外形在灰度纹理上高度相似模型学到的特征里有一部分其实是“高亮区域”而非矿物形态。这个问题在野外自然光下拍摄的数据集里尤其严重。解决训练时做离线增强比如随机降低亮度、增加对比度扰动让模型不再依赖绝对的亮度特征。数据采集端如果有条件用偏振光拍摄或改变光源角度消除镜面反射。另外一个很实用的技巧找几十张完全没有矿物的岩石背景图标注为空标签作为负样本加入训练集。YOLO 支持空标签图片参与训练模型会学到“这种纹理不该出框”。5.4 常见矿物类别样本量碾压稀有矿物现象石英和黄铁矿样本各有 500 多张而磁铁矿只有 40 张训练后磁铁矿的召回率只有 0.2几乎没有检测能力。原因类别不平衡直接导致 loss 被多数类主导。YOLO 的损失函数是逐目标计算的稀有类别的梯度贡献被淹没。解决第一步是给每个类别设置采样权重Ultralytics 在 data.yaml 里不能直接配权重但可以用自定义采样器。更简单且有效的方法是做离线复制粘贴增强把稀有类别的矿物目标从原图中裁剪出来随机旋转缩放后粘贴到其他岩石表面图像上生成新样本。注意每张合成图中粘贴 2 到 3 个实例就够了粘贴太多会让模型学会“同类别必然扎堆”的虚假规律。5.5 验证集指标正常放到新场景照片上直接翻车现象用数据集自带的测试集评估 mAP 很高但你带着训练好的模型去野外拍了几张新岩石照片检测结果一塌糊涂。原因数据集的图片大概率是在固定光照、固定拍摄距离下采集的模型过拟合了这种特定采集条件。岩石表面检测最常见的域偏移是光照色温变化和拍摄距离变化。解决这是所谓的“数据集封闭世界”问题任何公开数据集都躲不开。建议在三到五个不同光照条件下各拍 30 张照片手工标注后混入原训练集做一次增量训练。增量训练时把学习率调低到 0.0001只训练 30 到 50 个 epoch重点更新骨干网络的浅层特征而不是从头学一遍。加了这批真实场景样本之后模型的泛化能力会有一个质的提升比你多调两百个 epoch 都有用。6. 别急着发版用混淆矩阵和特征分布给模型做体检再谈类别扩展6.1 混淆矩阵告诉你该合并类还是补数据训练完的模型目录下confusion_matrix_normalized.png是最后一个需要认真看的文件。这张图的对角线是各类别的正确检出率非对角线位置如果有明显亮点说明两类矿物在特征空间里严重重叠。比如你发现黄铁矿和黄铜矿之间互相误判率超过 30%先别急着加数据。这个误判往往不是数据不够而是这两类矿物在普通照片里确实几乎无法区分。这时理性的决策是把它们合并成一个大类sulfide硫化物同时训练脚本里把类别数量从 6 个减到 5 个重新转换标签再训练。虽然类别变粗了但模型在真实业务场景里的可用性反而大幅提升——因为误报率降下来了。6.2 输出特征可视化不看黑匣子只看你该看的部分如果想进一步确认类别可分离性可以用训练好的模型对验证集图像提取检测头之前的特征向量然后对每个候选框的特征做 t-SNE 降维看不同类别的特征点是否分开。这步不需要写复杂代码直接提取骨干网络最后一个卷积层的输出做全局平均池化后降维即可。如果两类矿物的特征点在二维平面上完全混在一起那训练再久也没用合并类别或调整采集方式是唯一出路。6.3 新类别扩展的增量流程项目中期如果增加了新的矿物识别需求不用把整个数据集重新训一遍。先把新类别手动标注 100 到 150 个实例和原有数据混合后用modelruns/rock_detect/exp1/weights/best.pt作为预训练权重继续训练。关键是冻结骨干前几层只微调检测头学习率降到 0.0001epoch 数压在 50 以内避免旧类别遗忘。我个人的习惯是每拿到一个岩石矿物检测数据集当天不写任何训练代码先把标签统计、类别分布和 bbox 尺度分布跑出来。这些数字看懂了后面所有训练决策都是自然而然的事。这个习惯帮我在好几个项目上避免了白等十几个小时训练才发现数据有硬伤的尴尬。希望帮到你。本文还有配套的精品资源点击获取 岩石矿物目标检测实战：从数据标注到YOLOv8训练避坑指南
简介面向目标检测学习者和地质、矿业研究者的岩石表面矿物质检测数据集专为YOLO系列网络训练而整理。包内含超过1000张高分辨率岩石表面图像及对应标签并经过数据增强处理可直接用于模型训练与验证。资源总计2000个文件其中jpg图像861张、txt标签文件1138个另附1个Python可视化脚本压缩包大小约59.08MB已按训练集、验证集划分class文件清晰标定石英、斑铜矿、黄铁矿等8类矿物质。配套show脚本可将检测框实时绘制到图像上便于调试与结果展示。目前已有454人学习使用适合需要快速开展岩石矿物目标检测实验、验证YOLO算法效果的研究者与开发者也可用于算法对比、论文实验和课程设计等场景。1. 拿到 1000 张岩石标注图你的模型为什么还是训不动——这个数据集到底解决什么问题做矿山数字化和野外岩心编录的人大概率都经历过这种落差从网上下了一个“岩石表面矿物质检测数据集”解压一看1000 多张 JPEG 外加同样数量的标签文件心里想着怎么着也能训出一个像样的目标检测模型了。结果模型跑起来mAP 卡在 0.3 上下黄铁矿和石英经常互相认错小颗粒矿物几乎全漏。问题不在模型也不在你笨而是岩石表面这个场景本身就属于目标检测里最不友好的那类数据目标密集、尺度极端、类别边界模糊。这篇文章从数据标注的正确打开方式讲起把这类地质影像数据处理成 YOLO 能稳定吃进去的格式再给你一套能直接落地的训练参数和避坑清单。适合刚接触目标检测、但手里已经有一批地质图像或标注数据的从业者也适合做矿物识别方向的学生。2. 先看清数据长什么样图像构成、标注对象与标签设计2.1 岩石表面图像和通用目标检测数据集的三个本质差异如果你之前只跑过 VOC 或者 COCO 这类自然图像数据集第一次接触岩石表面数据时会有一种明显的不适感图里没有“主体”。自然图像里一只猫、一辆车目标占画面比例大且轮廓清楚岩石表面不一样一块手标本照片里可能同时出现十几种矿物彼此嵌生在一起边界靠颜色和光泽硬猜。第一个差异是目标密集且尺度跨度极大。有些矿物颗粒在图里占了上百像素而有些细脉、微晶只有 8×8 像素。标准 640×640 输入下8 像素的微小目标经过下采样后特征基本丢失必然漏检。第二个差异是类间视觉相似度高。黄铁矿和黄铜矿在颜色上都是金属光泽黄铁矿偏淡黄铜色黄铜矿偏金黄在普通室内光源下拍出来的照片人眼都不一定能立刻区分何况模型。很多岩矿数据集的标签体系是按矿物学分类做的但检测模型需要的是“人眼能稳定区分”的类别粒度。第三个差异是背景干扰强。岩石的颗粒纹理、裂隙、气孔、包裹体这些在图像里都构成极强的背景响应很容易被模型当成候选框。行业内做岩石图像检测的老手都知道这个领域模型翻车一半以上是背景误报而不是目标漏检。所以你在处理这类数据集之前先要把预期调整过来这不是一个“下载下来直接跑通”的数据集而是一个需要你做标注质检、类别合并、尺度策略设计的专业数据。2.2 矿物类别划分与标签体系怎么定拿到数据集之后第一件事不是写训练脚本而是打开标签文件把所有出现过的类别名列出来。岩石表面矿物质数据集里常见的类别有黄铁矿、磁铁矿、石英、长石、云母、方解石等。很多数据集目前的标签粒度是按大类分的比如“石英”一类里实际包含了好几种颜色形态的 SiO₂ 变体。这个粒度对于检测任务来说往往是合适的因为模型本质上学的不是矿物物理属性而是颜色、纹理、光泽的组合特征。我的习惯是按“目视可鉴定”原则重新审查一遍类别表具体规则是颜色和光泽在普通照片里能稳定区分的保留为独立类别区分不了的合并成同一个类别。如果两类矿物经常共生且边界模糊优先合并。检测模型不需要矿物学精度它需要的是人工标注的一致性和可复现性。类别名不要用空格和特殊字符全部用小写英文字母命名。比如pyrite、chalcopyrite、quartz不要用Pyrite(1)这种带括号或编号的名字。类别确定之后还要检查标签枚举值是否连续。如果你发现标签文件里出现class_id5但类别表里只有 5 个类别那大概率是标注工具遗留的无效类别直接过滤掉。这一步不做好后面训练时类别数对不上数据配置文件训练过程会报维度错误甚至训练日志照常跑但模型输出维度一直是错的。2.3 标注质量快速体检先花半小时看分布再开训我一般拿到任何带 bbox 标注的数据集会先写一个极短的统计脚本检查三件事每个 bbox 的面积分布、是否有坐标越界、是否有空标签图像。这步能帮你躲开很多后期排查成本。代码大概长这样import os from collections import Counter label_dir labels img_w, img_h 1280, 960 # 按实际图像尺寸填 cls_counter Counter() area_list [] bad_files [] for fname in os.listdir(label_dir): if not fname.endswith(.txt): continue fpath os.path.join(label_dir, fname) with open(fpath, r) as f: lines f.readlines() if len(lines) 0: bad_files.append(fname _empty) continue for line in lines: parts line.strip().split() cls_id int(parts[0]) cx, cy, w, h map(float, parts[1:]) if w 0 or h 0 or cx 0 or cy 0: bad_files.append(fname _invalid) continue if cx w / 2 1.0 or cy h / 2 1.0: bad_files.append(fname _out_of_bounds) cls_counter[cls_id] 1 area_list.append(w * img_w * h * img_h) print(类别分布:, cls_counter) print(最小面积:, min(area_list), 最大面积:, max(area_list)) print(异常文件:, bad_files[:20])这段脚本的逻辑很简单读取 YOLO 格式的每个 txt按归一化坐标解析检查 bbox 的宽高是否为正数、中心点是否超出图像边界、类别 ID 是否落在有效范围同时统计每个类别的样本数量和 bbox 像素面积。你需要根据实际图片的分辨率把img_w和img_h改对否则面积分布完全失真。跑完这个脚本你能得到两个关键信息如果最小面积只有几十像素那说明这张图里存在大量微型矿物颗粒后面训练时输入分辨率必须提高如果某个类别的样本数只有另外一类的十分之一那训练时就要考虑类别不平衡问题可别等训完看结果时才后悔。提示YOLO 格式的坐标全部归一化到 [0,1]所以抽查时需要乘回原图尺寸才知道真实像素大小。3. 把标签转成模型能吃的格式XML/VOC 到 YOLO txt 的转换脚本与边界处理3.1 三种常用标注格式的差异与选型岩矿检测数据集在网上下载时常见的标注格式有三种VOC XML、COCO JSON、YOLO txt。这三种格式各有各的适用场景。VOC XML 是一张图一个 XML 文件左上角加右下角像素坐标人类可读性好适合用 LabelImg 继续编辑COCO JSON 把所有图的标注聚合到一个 JSON 文件里自带类别表适合做分割和多模态任务YOLO txt 是每张图一个同名 txt每行一个目标格式为class_id cx cy w h坐标全部归一化到 0 到 1 之间。如果你是要用 YOLOv8 这类主流检测框架训练最终都要转成 YOLO txt。原因有三个一是读取效率高不用每次迭代都解析一个巨大的 JSON二是 PyTorch 生态里的 YOLO 系列训练器原生支持这个格式目录结构摆好就能训三是 txt 文件体积小方便随手做数据增删改查。手头常用的标注工具建议直接选 X-anyLabeling 或 LabelStudio这两个工具都能同时导出 VOC 和 YOLO 格式并且支持自动保存。如果你接手的数据集只有 XML那就老老实实写脚本转格式这也是岩石图像数据处理的日常。3.2 VOC XML 转 YOLO txt 的转换脚本下面这段脚本几乎可以直接抄走用。它会把 VOC 格式的 XML 批量转成 YOLO txt并且顺手过滤掉那些没有标注对象的图片。import os import xml.etree.ElementTree as ET def voc_xml_to_yolo_txt(xml_path, out_dir, classes): tree ET.parse(xml_path) root tree.getroot() img_w int(root.find(size/width).text) img_h int(root.find(size/height).text) out_lines [] for obj in root.iter(object): cls_name obj.find(name).text if cls_name not in classes: continue # 跳过不在类别表里的对象 cls_id classes.index(cls_name) bndbox obj.find(bndbox) xmin float(bndbox.find(xmin).text) ymin float(bndbox.find(ymin).text) xmax float(bndbox.find(xmax).text) ymax float(bndbox.find(ymax).text) xmin max(0, min(xmin, img_w)) xmax max(0, min(xmax, img_w)) ymin max(0, min(ymin, img_h)) ymax max(0, min(ymax, img_h)) if xmax - xmin 1 or ymax - ymin 1: continue # 过滤掉退化框 cx (xmin xmax) / 2 / img_w cy (ymin ymax) / 2 / img_h w (xmax - xmin) / img_w h (ymax - ymin) / img_h out_lines.append(f{cls_id} {cx:.6f} {cy:.6f} {w:.6f} {h:.6f}) if out_lines: out_name os.path.splitext(os.path.basename(xml_path))[0] .txt with open(os.path.join(out_dir, out_name), w) as f: f.write(\n.join(out_lines)) classes [pyrite, chalcopyrite, quartz, magnetite, biotite] xml_dir voc_xmls out_dir labels os.makedirs(out_dir, exist_okTrue) for f in os.listdir(xml_dir): if f.endswith(.xml): voc_xml_to_yolo_txt(os.path.join(xml_dir, f), out_dir, classes)转换脚本里有几个容易被忽略的细节。第一是坐标边界裁剪有些标注工具画框时会不小心把框拖出图像边缘导致 xmax 大于图像宽度如果不做min裁剪归一化后会出现大于 1 的坐标训练时 YOLO 会直接报错。第二是退化框过滤标注时鼠标抖动可能产生 1×1 像素的无意义框这种框对回归损失影响极大必须过滤。第三是类别名匹配转换时如果遇到类别表里不存在的名字脚本默认跳过而不是报错这样能避免单张 XML 里混入脏标签导致整个转换中断。3.3 数据集划分用固定随机种子别让同类图片全挤进验证集转换完成后下一步是把数据集按 8:1:1 划分成训练集、验证集和测试集。很多人的做法是直接random.shuffle然后切分不过我会建议按类别分层抽样——尤其是岩石数据集同一张手标本照片可能会被切出十来张重叠的图这些图内容高度相似。如果随机划分训练集和验证集里可能存在大量同源的近似图导致验证指标虚高。import os import random from collections import defaultdict random.seed(42) label_dir labels image_dir images train_ratio, val_ratio 0.8, 0.1 class_to_files defaultdict(list) for fname in sorted(os.listdir(label_dir)): if not fname.endswith(.txt): continue with open(os.path.join(label_dir, fname)) as f: lines f.readlines() if not lines: continue cls_ids set(int(line.split()[0]) for line in lines) for c in cls_ids: class_to_files[c].append(fname) train_set, val_set, test_set set(), set(), set() for cls_id, files in class_to_files.items(): random.shuffle(files) n_train int(len(files) * train_ratio) n_val int(len(files) * val_ratio) train_set.update(files[:n_train]) val_set.update(files[n_train:n_train n_val]) test_set.update(files[n_train n_val:]) def write_split(split_set, split_name): with open(f{split_name}.txt, w) as f: for fname in sorted(split_set): stem os.path.splitext(fname)[0] img_path os.path.join(image_dir, stem .jpg) if os.path.exists(img_path): f.write(img_path \n) write_split(train_set, train) write_split(val_set, val) write_split(test_set, test) print(len(train_set), len(val_set), len(test_set))这段脚本的核心是按类别分层划分每一类都独立参与切分保证所有类别的图片在训练集和验证集中都有代表性。生成的是三个 txt 文件每行一个图片路径YOLO 训练时直接引用它们。这里建议固定random.seed(42)方便复现。还要注意一个匹配细节如果图片格式不是 jpg 而是 png 或 bmp脚本里的stem .jpg需要改成对应后缀。更稳妥的做法是遍历图片目录按文件主名匹配而不是假设后缀。4. 用 YOLOv8 在本地训一个岩石矿物检测模型命令、参数与调优4.1 数据目录结构和 data.yaml 的写法格式转换和划分都做完之后目录结构建议整理成这样rock_dataset/ ├── images/ │ ├── train/ │ ├── val/ │ └── test/ ├── labels/ │ ├── train/ │ ├── val/ │ └── test/ ├── train.txt ├── val.txt └── rock.yamlYOLOv8 支持直接用train.txt里的图片路径列表训练但更省事的做法是使用 data.yaml。YAML 文件内容如下path: /home/user/rock_dataset train: train.txt val: val.txt test: test.txt names: 0: pyrite 1: chalcopyrite 2: quartz 3: magnetite 4: biotitepath写数据集的绝对路径train和val对应划分脚本生成的 txt 文件路径相对于path解析。names里行的顺序必须和转换脚本里的classes列表顺序完全一致因为 YOLO txt 文件里的类别 ID 就是按那个顺序写入的。这里有个很容易踩的坑如果你在训练前调整了类别顺序比如给classes列表加了新类别那么所有 txt 文件里的 ID 都要重新转换一遍不能只改 YAML。4.2 训练命令与关键参数说明数据准备完毕直接用 YOLOv8 的命令行开训。对于 1000 张出头的岩石矿物数据集我建议用 yolov8n 或 yolov8s 起步不要一上来就用 x 模型否则 GPU 显存吃紧且容易过拟合。yolo detect train \ modelyolov8s.pt \ datarock.yaml \ epochs200 \ imgsz1280 \ batch16 \ patience30 \ optimizerAdamW \ lr00.001 \ mosaic0.5 \ mixup0.1 \ projectruns/rock_detect \ nameexp1逐个解释关键参数的选择逻辑。imgsz1280是这组参数里最重要的一项岩石表面的小颗粒矿物在原始分辨率下通常只有 20 到 50 像素缩到 640 后基本不可辨1280 的输入尺寸能明显提高小目标召回率代价是训练速度慢三分之一左右显存占用翻倍但这是值得的。mosaic0.5表示马赛克增强的概率控制在 50%。YOLO 默认的 mosaic 是 1.0也就是每张训练图都做马赛克拼接。岩石表面图像纹理密集如果马赛克比例太高四张图拼在一起产生的矿物边界假象会干扰模型学真实形态特征所以我会刻意调低。mixup0.1同理混合比例很低只做轻微正则。patience30表示验证集指标连续 30 个 epoch 不提升就提前停止这能帮你省掉大量无效训练时间。1000 张图片训练 200 个 epoch在单张 3090 上大约需要 2 到 3 小时如果等 200 个 epoch 全跑完才看结果效率太低了。如果想从零训练而不是用预训练权重把modelyolov8s.pt改成modelyolov8s.yaml。不过对于岩矿数据我强烈建议用 COCO 预训练权重做迁移学习因为预训练模型已经学会了丰富的纹理和边缘特征能显著缩小收敛时间。这里没有现成预训练权重的话可以先跑一个之前用过的 COCO 模型作为初始化效果是一样的。4.3 训练过程怎么盯loss 曲线、验证指标与过拟合信号训练开始后不要干等。在runs/rock_detect/exp1/目录下Ultralytics 会自动生成results.csv和训练曲线图。我一般只看这几个指标窗口期的变化趋势指标看什么异常信号train/box_loss前 50 个 epoch 是否稳定下降不降反升学习率过大val/box_loss是否紧跟 train 下降与 train 拉开距离过拟合metrics/precision(B)最终应高于 0.75低于 0.5背景误报严重metrics/recall(B)最终应高于 0.7低于 0.5漏检太多metrics/mAP50(B)目标指标 0.6 以上算及格波动剧烈验证集太小你要特别关注 train 和 val 的 loss 曲线是否从某个 epoch 开始分叉。比如 train/box_loss 还在降val/box_loss 却开始横盘甚至上翘就从那个 epoch 开始过拟合了。遇到这种情况先从早停开始把patience保持在 30如果过拟合来得太早就降低lr0到 0.0005再把mosaic调低到 0.3甚至关闭 mixup。另外每轮训练结束confusion_matrix.png会自动生成这是一个非常有用的排错工具在第五章里我会详细讲怎么看它。5. 岩石数据集翻车避坑指南五个高频问题与排查方法5.1 小目标矿物几乎全漏检验证集 mAP 却很高现象推理时把大颗粒矿物全框出来了细脉状、微晶状的小矿物一个没检出但验证集 mAP 有 0.7看起来还不错。原因验证集和训练集划分时没有考虑图像来源同源图像同一块标本的不同角度照片同时进了训练集和验证集所以验证集反映不了真实场景的难度。另一个原因是模型输入尺寸只有 640小目标在骨干网络下采样后只剩几个像素。解决重新用 3.3 节的分层划分脚本按图像来源拆分数据集确保同一标本的照片要么全在训练集要么全在验证集。同时把推理时的imgsz也设为 1280保持训练和推理尺度一致。如果显存不够用就做滑窗裁图把原图切成四块有重叠的瓦片分别推理再合并结果这个操作在岩矿检测里非常常见。5.2 矿物边界处的检测框飘忽不定同一张图每次推理框位置都变现象模型虽然能框出矿物位置但同一个目标连续推理两次框的位置和大小有十几个像素的抖动。原因数据标注时边界框的标准不统一。比如有人按矿物可见轮廓标有人把旁边的阴影包进去了还有人只标了矿物的亮点核心。模型学到的框回归目标本身就方差很大推理时自然不稳定。解决用标注统计脚本检查同一类别 bbox 的宽高比分布。如果宽高比从 0.2 到 5.0 均匀分布那大概率是标注不一致。我一般会统一规范为“包含矿物全部可见表面但不包含阴影和裂隙”然后把明显偏离同类分布的超宽或超窄框挑出来回到数据里重新修正。这一步需要人工介入但值得做。标注一致性上去之后框抖动问题通常能缓解大半。5.3 亮闪闪的矿物表面引发大量假阳性现象模型把岩石上的强反光区域、水渍、甚至胶带反光识别成了矿物尤其是在黄铁矿这类金属光泽矿物附近。原因岩石表面的反光点和矿物外形在灰度纹理上高度相似模型学到的特征里有一部分其实是“高亮区域”而非矿物形态。这个问题在野外自然光下拍摄的数据集里尤其严重。解决训练时做离线增强比如随机降低亮度、增加对比度扰动让模型不再依赖绝对的亮度特征。数据采集端如果有条件用偏振光拍摄或改变光源角度消除镜面反射。另外一个很实用的技巧找几十张完全没有矿物的岩石背景图标注为空标签作为负样本加入训练集。YOLO 支持空标签图片参与训练模型会学到“这种纹理不该出框”。5.4 常见矿物类别样本量碾压稀有矿物现象石英和黄铁矿样本各有 500 多张而磁铁矿只有 40 张训练后磁铁矿的召回率只有 0.2几乎没有检测能力。原因类别不平衡直接导致 loss 被多数类主导。YOLO 的损失函数是逐目标计算的稀有类别的梯度贡献被淹没。解决第一步是给每个类别设置采样权重Ultralytics 在 data.yaml 里不能直接配权重但可以用自定义采样器。更简单且有效的方法是做离线复制粘贴增强把稀有类别的矿物目标从原图中裁剪出来随机旋转缩放后粘贴到其他岩石表面图像上生成新样本。注意每张合成图中粘贴 2 到 3 个实例就够了粘贴太多会让模型学会“同类别必然扎堆”的虚假规律。5.5 验证集指标正常放到新场景照片上直接翻车现象用数据集自带的测试集评估 mAP 很高但你带着训练好的模型去野外拍了几张新岩石照片检测结果一塌糊涂。原因数据集的图片大概率是在固定光照、固定拍摄距离下采集的模型过拟合了这种特定采集条件。岩石表面检测最常见的域偏移是光照色温变化和拍摄距离变化。解决这是所谓的“数据集封闭世界”问题任何公开数据集都躲不开。建议在三到五个不同光照条件下各拍 30 张照片手工标注后混入原训练集做一次增量训练。增量训练时把学习率调低到 0.0001只训练 30 到 50 个 epoch重点更新骨干网络的浅层特征而不是从头学一遍。加了这批真实场景样本之后模型的泛化能力会有一个质的提升比你多调两百个 epoch 都有用。6. 别急着发版用混淆矩阵和特征分布给模型做体检再谈类别扩展6.1 混淆矩阵告诉你该合并类还是补数据训练完的模型目录下confusion_matrix_normalized.png是最后一个需要认真看的文件。这张图的对角线是各类别的正确检出率非对角线位置如果有明显亮点说明两类矿物在特征空间里严重重叠。比如你发现黄铁矿和黄铜矿之间互相误判率超过 30%先别急着加数据。这个误判往往不是数据不够而是这两类矿物在普通照片里确实几乎无法区分。这时理性的决策是把它们合并成一个大类sulfide硫化物同时训练脚本里把类别数量从 6 个减到 5 个重新转换标签再训练。虽然类别变粗了但模型在真实业务场景里的可用性反而大幅提升——因为误报率降下来了。6.2 输出特征可视化不看黑匣子只看你该看的部分如果想进一步确认类别可分离性可以用训练好的模型对验证集图像提取检测头之前的特征向量然后对每个候选框的特征做 t-SNE 降维看不同类别的特征点是否分开。这步不需要写复杂代码直接提取骨干网络最后一个卷积层的输出做全局平均池化后降维即可。如果两类矿物的特征点在二维平面上完全混在一起那训练再久也没用合并类别或调整采集方式是唯一出路。6.3 新类别扩展的增量流程项目中期如果增加了新的矿物识别需求不用把整个数据集重新训一遍。先把新类别手动标注 100 到 150 个实例和原有数据混合后用modelruns/rock_detect/exp1/weights/best.pt作为预训练权重继续训练。关键是冻结骨干前几层只微调检测头学习率降到 0.0001epoch 数压在 50 以内避免旧类别遗忘。我个人的习惯是每拿到一个岩石矿物检测数据集当天不写任何训练代码先把标签统计、类别分布和 bbox 尺度分布跑出来。这些数字看懂了后面所有训练决策都是自然而然的事。这个习惯帮我在好几个项目上避免了白等十几个小时训练才发现数据有硬伤的尴尬。希望帮到你。本文还有配套的精品资源点击获取