简介海洋生物虾图像分割数据集是一份面向深度学习入门者与进阶研究者的二值图像分割任务资源适用于目标检测与语义分割课程实践、模型训练、算法对比与效果验证等场景。数据按训练集与测试集划分训练集包含800张原始图像及800个对应mask模板测试集包含200张图像及200个mask模板目录结构规范、命名统一可直接接入U-Net、DeepLab等主流分割模型流程无需额外清洗或预处理。资源包整体约320.3MB共2000个文件以png格式图像为主另含1个Python可视化脚本可随机抽取一张图片并展示原始图、GT图及GT在原图上的蒙版效果便于直观检查标注质量、训练进度与预测结果。目前已有278人学习下载适合需要标准数据集快速搭建分割实验、完成课程设计或开展教学演示的深度学习学习者使用。1. 一个看似简单的分割任务为什么值得专门讲清楚第一次拿到海洋生物虾图像分割数据集的人多半会先被骗一下原图是水里拍的虾标注图是黑白两色虾是白的、背景是黑的看起来比语义分割简单多了。等真正跑起来才发现水下的光照不均、泥沙遮挡、虾须和背景灰度接近都会让二值图像分割的准确率跌得很难看。所谓二值指的是每个像素只有两个类别——前景虾和背景输出是一张单通道掩码图。深度学习解决这个任务的本质是用卷积网络把图像映射成逐像素的概率图再通过阈值得到掩码。这个方向的实际价值很直接对虾的养殖监测、渔业资源统计、水下生物量估算来说人工框选或阈值分割不仅慢而且在水下场景里极不稳定。图像分割数据集的价值就是让人不用从零采集标注直接基于已有数据训练网络。本文围绕这套流程展开先拆解数据集的结构和掩码语义再写数据加载与增强接着选模型和损失函数然后是训练避坑和验证部署的完整闭环。它面向两类读者刚入门深度学习的同学可以照着复现已经在做分割项目、想快速评估这个数据集值不值得用的工程师能直接看到边界和参数。2. 先把数据集吃透目录结构、掩码语义与配对校验2.1 图像分割数据集的典型目录长什么样这类数据集通常按原图 掩码的成对方式组织最常见的做法是images/和masks/两个目录并列。images里放原始水下拍摄图片masks里放同名 PNG 格式的标注掩码。为什么用 PNG 而不是 JPG因为掩码的像素值是精确的数字标签JPG 的有损压缩会在对象边缘产生伪影直接污染监督信号。实际使用中还会有一个划分文件通常是train.txt和val.txt每行写一个不带扩展名的文件名用来告诉训练脚本哪些图参与训练、哪些图参与验证。如果你拿到的数据集没有划分文件建议按 8:2 的随机比例自行划分并且固定随机种子保证每次实验训练集和验证集完全一致。划分时要小心一点同一个拍摄场景的多帧图像不能同时散落在训练集和验证集里。水下视频相邻帧高度相似如果训练集和验证集出现同一场景的邻近帧验证分数会虚高部署到新场景时表现立刻打回原形。2.2 掩码像素值背后的含义打开掩码图你会看到只有两种像素值背景是 0虾的区域是 255。这里的 255 不是白色而是类别标识的编码形式。模型在计算损失之前训练脚本通常会把掩码除以 255把标签空间压缩到 {0, 1}这样nn.BCEWithLogitsLoss或 Dice loss 才能直接使用。这里有一个值得留意的细节有些数据集制作时用的是单通道灰度 PNG有些导出时不小心变成了三通道 RGB 的伪灰度图。如果你用cv2.imread(mask_path, cv2.IMREAD_GRAYSCALE)读出来看到的是三通道形状(H, W, 3)就要用mask[:, :, 0]取单通道。一个扎实的做法是在数据加载前做一次全量扫描统计所有掩码的唯一像素值。import cv2 import glob import numpy as np mask_paths sorted(glob.glob(masks/*.png)) unique_values set() bad_files [] for p in mask_paths: mask cv2.imread(p, cv2.IMREAD_GRAYSCALE) if mask is None: bad_files.append((p, 读取失败)) continue vals np.unique(mask) unique_values.update(vals.tolist()) if set(vals.tolist()) - {0, 255}: # 出现非二值像素 bad_files.append((p, f包含异常像素值: {vals.tolist()})) print(全部掩码的唯一像素值:, sorted(unique_values)) print(异常文件:, bad_files if bad_files else 无)这段代码的核心理由是二值分割任务里掩码中只要混入一个 127 这样的中间值损失函数就会把不确定当成监督信号教给模型导致边缘区域输出发灰。我一般会用这段脚本做数据集验收过了这一关才谈训练。如果你发现掩码尺寸和原图不一致比如原图是1920x1080、掩码是960x540说明数据集可能是按标注框裁剪或缩放过需要写一个统一缩放函数用cv2.INTER_NEAREST处理掩码不能默认用双线性插值。2.3 图像与掩码的配对校验配对错误是数据集落地时最常见、最隐蔽的坑。文件名看起来都对得上但排序方式不同导致训练时图像和掩码对不上。写一个一次性的校验脚本比任何口头约定都管用。校验思路是把图像和掩码路径按文件名排序再对每一对检查形状和内容的基本一致性。import cv2 import glob import numpy as np img_paths sorted(glob.glob(images/*.jpg)) mask_paths sorted(glob.glob(masks/*.png)) assert len(img_paths) len(mask_paths), \ f图像数量 {len(img_paths)} 与掩码数量 {len(mask_paths)} 不一致 for img_p, mask_p in zip(img_paths, mask_paths): img_name img_p.split(/)[-1].split(.)[0] mask_name mask_p.split(/)[-1].split(.)[0] if img_name ! mask_name: raise ValueError(f文件名不匹配: {img_p} vs {mask_p}) img cv2.imread(img_p) mask cv2.imread(mask_p, cv2.IMREAD_GRAYSCALE) if img.shape[:2] ! mask.shape[:2]: raise ValueError( f尺寸不匹配: {img_p} {img.shape[:2]} vs {mask_p} {mask.shape[:2]} ) if mask.max() 1: mask mask // 255 overlap_ratio mask.mean() if overlap_ratio 0.9: print(f警告: {img_name} 掩码中前景占比过高请人工确认标注是否正确) print(全部图像与掩码配对校验通过)这里mask.max() 1的判断是为了兼容掩码标签是 0/255 还是 0/1两种格式。mask.mean()给出前景像素占比超过 0.9 的样本值得人工复核水下图像里经常出现整帧被误标成虾的情况。建议把这步校验脚本纳入数据集发布的默认配置以后别人复现这个数据集时就能少走一轮弯路。3. 数据加载与增强给模型喂对数据才是第一步3.1 图像增强为什么必须让掩码跟着一起变很多初学者在二值分割项目里翻车翻在数据增强这一步。用常规的torchvision.transforms做随机翻转图像转了、掩码没转模型等于在学错位监督——输入的前景在左边标签在右边训练直接崩掉。二值图像分割任务的增强策略核心约束是对图像的几何变换必须原封不动地作用到掩码上。albumentations 是处理这类需求最顺手的选择它内置了RandomResizedCrop、HorizontalFlip、Rotate等几何变换通过mask参数同步处理掩码不需要自己写双缓冲逻辑。常见做法是组合几何变换和像素变换几何变换改变物体的位置、大小和姿态像素变换模拟水下光照变化比如亮度、对比度和高斯噪声。但要记住像素变换只作用于图像掩码不受影响。import albumentations as A from albumentations.pytorch import ToTensorV2 train_transform A.Compose([ A.RandomResizedCrop(height512, width512, scale(0.6, 1.0), ratio(0.75, 1.33), p0.8), A.HorizontalFlip(p0.5), A.Rotate(limit30, border_mode0, p0.6), A.RandomBrightnessContrast(brightness_limit0.2, contrast_limit0.2, p0.5), A.GaussNoise(var_limit(10.0, 40.0), p0.3), ], additional_targets{mask: mask}) val_transform A.Compose([ A.Resize(height512, width512), ])参数设置的逻辑水下虾的体型和拍摄距离都不固定RandomResizedCrop的scale下限设到 0.6让模型有机会看到局部大虾和全景小虾两种情况。Rotate的limit30是经验值超过 30 度会把虾头和虾尾混淆语义信息失真。border_mode0表示旋转后填充黑色水下场景的黑色填充近似背景不会引入奇怪的白色噪声。GaussNoise用于模拟水下颗粒感噪点能提升模型的鲁棒性但方差不要超过 40否则会掩盖虾本身的纹理特征。训练时不需要对验证集做随机增强只做固定尺寸的缩放即可。3.2 自定义 Dataset 实现数据加载的最终产出是图像张量 掩码张量的配对。二值分割任务里掩码最好是float类型的单通道张量取值是 0.0 或 1.0形状是(1, H, W)。为什么是(1, H, W)而不是(H, W)因为后面的损失函数如 Dice loss 期望掩码和模型输出形状一致模型输出是(B, 1, H, W)标签也保持相同的通道维度可以减少很多调试时间。import cv2 import torch from torch.utils.data import Dataset class ShrimpSegDataset(Dataset): def __init__(self, img_dir, mask_dir, filelist, transformNone): with open(filelist, r) as f: self.names [line.strip() for line in f if line.strip()] self.img_dir img_dir self.mask_dir mask_dir self.transform transform def __len__(self): return len(self.names) def __getitem__(self, idx): name self.names[idx] img_path f{self.img_dir}/{name}.jpg mask_path f{self.mask_dir}/{name}.png image cv2.imread(img_path) image cv2.cvtColor(image, cv2.COLOR_BGR2RGB) mask cv2.imread(mask_path, cv2.IMREAD_GRAYSCALE) if mask.max() 1: mask mask // 255 if self.transform: transformed self.transform(imageimage, maskmask) image transformed[image] mask transformed[mask] else: image cv2.resize(image, (512, 512)) mask cv2.resize(mask, (512, 512), interpolationcv2.INTER_NEAREST) image torch.from_numpy(image).permute(2, 0, 1).float() / 255.0 mask torch.from_numpy(mask).float().unsqueeze(0) return image, mask dataset ShrimpSegDataset( img_dirimages, mask_dirmasks, filelisttrain.txt, transformtrain_transform ) sample_img, sample_mask dataset[0] print(sample_img.shape, sample_mask.shape, sample_mask.min(), sample_mask.max())逻辑说明__getitem__里先读图、转 RGB、读掩码、把 255 归一成 1然后交给 albumentations 做同步变换。图像像素值在permute之后除以 255归一化到[0, 1]区间。没有做 ImageNet 均值和方差标准化原因是二值分割对输入数值范围不太敏感0~1 直接输入也能收敛如果迁移预训练权重则需要配合Normalize和预训练编码器的统计值。unsqueeze(0)这一行容易被漏掉漏掉之后损失函数会报维度不匹配的错。掩码用float而不是long是为了兼容 BCE 这类二分类损失如果用 CrossEntropyLoss 做多类分割才需要long类型。3.3 数据加载器的参数选择DataLoader的几个参数对显存和训练效率影响很大。batch_size直接决定单步占用的显存量512x512 输入下U-Net 加 ResNet34 编码器batch_size 为 8 大约需要 10~12GB 显存。如果显存不够优先调低 batch_size不要调小输入尺寸因为虾须这类细长结构对分辨率非常敏感缩到 256 之后 Loss 可能已收敛但视觉上边缘糊成一团。num_workers在 Windows 上设 0 更省心在 Linux 上设 4 比较均衡过高会拖慢主进程。from torch.utils.data import DataLoader train_loader DataLoader( dataset, batch_size8, shuffleTrue, num_workers4, pin_memoryTrue, drop_lastTrue )pin_memoryTrue在训练循环里能稍微减少主机到 GPU 的拷贝延迟前提是你的机器内存足够。drop_lastTrue是为了防止最后一个 batch 尺寸过小导致 BatchNorm 统计量波动过大。数据加载这块做扎实之后训练环节才能稳定复现。4. 模型选型、损失函数与训练脚本4.1 二值分割的模型选型U-Net 依然是默认起点图像分割算法在二值任务上的选择很多但对这类单类别海生物分割U-Net 的编码器-解码器结构依然是性价比最高的方案。U-Net 的跳跃连接把编码器每层的细节特征直接传给解码器对虾须、虾尾这种需要像素级定位的目标非常有效。实际写代码时不需要从零堆 U-Net直接用segmentation_models_pytorch库加载预训练编码器比自己从头训练更快也更稳。import segmentation_models_pytorch as smp model smp.Unet( encoder_nameresnet34, encoder_weightsimagenet, in_channels3, classes1, activationNone )选择 ResNet34 的理由是它比 ResNet50 轻在 512x512 输入下显存占用更低而分割精度差距很小。classes1表示输出一个通道的概率图等价于二分类。activationNone很重要模型输出的原始 logits 会交给损失函数内部的 Sigmoid 处理如果在模型里先加了 SigmoidBCEWithLogitsLoss 会再次计算数值不稳定。如果 encoder 想用更轻量的 MobileNet 变体也可以训练速度大概提升 30% 以上精度略有下降。解码器深度一般保持默认不需要额外配置。4.2 损失函数BCE 和 Dice 的配比才是关键二值分割任务里最常用的损失函数有三个BCE、Dice loss 和二者的组合。BCE 是像素级交叉熵收敛稳定但在前景占比极小的数据上会偏向背景。Dice loss 直接优化区域重叠度对类别不均衡更鲁棒但在训练初期梯度不稳定。我采用混合方案loss 0.5 * BCE 0.5 * Dice这是图像分割项目里反复验证过最不容易失败的配置。import torch import torch.nn as nn import torch.nn.functional as F class BCEDiceLoss(nn.Module): def __init__(self, bce_weight0.5, dice_weight0.5): super().__init__() self.bce_weight bce_weight self.dice_weight dice_weight def forward(self, logits, targets): bce F.binary_cross_entropy_with_logits(logits, targets) probs torch.sigmoid(logits) smooth 1e-6 intersection (probs * targets).sum() union probs.sum() targets.sum() dice 1 - (2 * intersection smooth) / (union smooth) return self.bce_weight * bce self.dice_weight * diceDice 公式里的smooth 1e-6是防止除零的常规做法。如果训练集会偶尔出现全黑掩码该帧确实没有虾分母会非常小smooth 参数的存在避免了这一步变成 NaN。要注意的是Dice loss在训练早期会快速下降看起来收敛很快但后期 BCE 部分还在慢慢修正边缘细节。训练日志里应当同时打印两个分项一旦发现总 loss 在下降但 BCE 分项在上升说明 Dice 权重过高模型在牺牲像素级准确率去追求区域重合。4.3 训练脚本完整的最小可复现版本训练循环的核心配置包括优化器选 Adam、学习率 1e-4、余弦退火调度器、早停和最佳模型保存。这些参数是二值语义分割项目里最通用的起始点跑通后再按自己的数据和显存调整。import torch from torch.optim import Adam from torch.optim.lr_scheduler import CosineAnnealingLR from tqdm import tqdm model model.cuda() criterion BCEDiceLoss() optimizer Adam(model.parameters(), lr1e-4) scheduler CosineAnnealingLR(optimizer, T_max40, eta_min1e-6) best_iou 0.0 for epoch in range(50): model.train() train_loss_sum 0.0 for images, masks in tqdm(train_loader): images images.cuda() masks masks.cuda() logits model(images) loss criterion(logits, masks) optimizer.zero_grad() loss.backward() optimizer.step() train_loss_sum loss.item() scheduler.step() # 验证 model.eval() iou 0.0 valid_num 0 with torch.no_grad(): for images, masks in val_loader: images images.cuda() masks masks.cuda() logits model(images) probs torch.sigmoid(logits) preds (probs 0.5).float() intersection (preds * masks).sum(dim(1, 2, 3)) union preds.sum(dim(1, 2, 3)) masks.sum(dim(1, 2, 3)) - intersection iou (intersection / (union 1e-6)).sum().item() valid_num masks.size(0) epoch_iou iou / valid_num print(fEpoch {epoch1}: loss{train_loss_sum/len(train_loader):.4f}, val_iou{epoch_iou:.4f}) if epoch_iou best_iou: best_iou epoch_iou torch.save(model.state_dict(), best_shrimp_seg.pth)训练循环中各参数的含义T_max40表示学习率在 40 个 epoch 内从 1e-4 余弦降到 1e-6如果你的训练轮次不是 50应该让这个值和总轮次匹配。(preds 0.5).float()是最常用的阈值后面还会专门讨论阈值选择的问题。(union 1e-6)是为了防止某些 mask 全黑导致除零。torch.save保存的是state_dict而非整个模型这样可以和下一步的 ONNX 导出解耦。关于训练时 batch 大小和输入分辨率我的实际经验是如果显存只够 batch_size2不要硬上大模型可以换encoder_namemobilenet_v2如果前景目标极小把RandomResizedCrop的scale下限从 0.6 降到 0.3模型能更好地放大局部。训练 50 轮通常 30~40 分钟可以完成如果超过 60 轮验证分数还在涨说明没有达到收敛适当增加T_max继续训练。5. 避坑二值分割训练中的翻车现场5.1 掩码被当成三通道图像读入维度错乱导致训练失败现象cv2.imread(mask_path)读出来mask.shape是(H, W, 3)然后是各种维度不匹配的报错或者训练 Loss 一直在高位抖动完全没下降。原因数据集里的掩码虽然是黑白图但保存成了 RGB 三通道 PNG。读取时默认参数返回三通道数组模型接收时把它当成(3, H, W)多通道输入监督信号变成三份重复的掩码。解决读取掩码时显式声明cv2.IMREAD_GRAYSCALE如果已读成三通道用mask[:, :, 0]取单通道。在数据集校验脚本里加入通道数检查顺手把这个问题拦截在训练之前。5.2 数据增强破坏了图像和掩码的对应关系现象训练 Loss 能下降但验证集可视化一看预测掩码的位置整体偏移虾的轮廓和原图对不上。原因这是最经典的增强不同步问题。用了torchvision.transforms.RandomHorizontalFlip随机翻转图像但掩码没有执行同样的变换导致模型对物体在哪产生了错误认知。解决统一用 albumentations 做增强所有几何变换都传入mask...同步处理。我自己是从一次自动标注模型翻车之后才彻底切到这种用法的有一次所有掩码在竖直方向错位 20 个像素查了大半天才发现是双线性插值处理掩码导致边缘值扩散后来全部改用cv2.INTER_NEAREST缩放掩码问题再没出现。5.3 前景占比过小导致模型学会背景最优现象验证集 IoU 看起来 0.90 以上但实际预测出的掩码全是黑的一张虾都没检测出来。原因虾在图像中占比可能只有 5% 甚至更低。如果直接算 IoU全预测为背景也能得到很高的分数因为背景占 95%。模型的点数全押在背景上训练 Loss 一样很好看但部署时毫无用处。解决在验证指标里加一个前景 IoU或 Dice 指标只看虾区域的预测质量。训练时用前文写的BCEDiceLossDice 部分会把前景覆盖率拉回来。如果验证时发现全黑预测优先把(probs 0.5)的阈值调低到 0.3 看是否改善若改善不明显再检查训练数据中前景占比和标签是否有误标。5.4 可视化正常但指标虚高问题出在验证集合划分现象训练集和验证集结果都很好模型在新的水下视频上表现和训练时判若两人。原因划分验证集时没有做序列去重。水下视频是连续拍摄的前一帧和后一帧几乎一样随机划分会导致验证集里包含和训练集相似的帧评估分数虚高。解决按视频序列或拍摄时间分组整组划分训练集和验证集。如果数据集没有提供序列信息可以用文件名的拍摄批次字段来划分。也就是说验证集必须来自模型从未见过的场景这样验证分数才有参考价值。5.5 模型预测输出 NaN 或全 1 全 0现象训练到一半Loss 变为nan或者验证输出全是 1.0。原因常见于学习率过大、显卡驱动导致的半精度训练问题、或输入图像包含异常值。当torch.cuda.amp混精度训练时梯度下溢会引发 NaN另外如果输入图像有纯黑或纯白的大片区域在非线性变换后数值不稳定。解决先关掉 AMP用纯 FP32 跑一轮确认有问题再排查在 Dataset 读取环节加上np.clip(image, 0, 255)和astype(np.uint8)。全 1 输出多数是 Sigmoid 之前的 logits 数值过大检查activationNone是否已经正确设置避免模型输出层和损失函数内部 Sigmoid 叠加。6. 验证与部署从指标到可用的分割系统6.1 验证指标不能只看 IoU训练日志里的验证分数是一回事实际项目验收又是另一回事。二值分割任务建议同时计算三个指标mIoU、Dice 系数、前景像素准确率。mIoU 能反映整体交并比Dice 对前景区域的存在性更敏感而前景准确率能直接指向前文提到的全黑预测这类偏科问题。把这三个指标打到验证脚本里每次训练结束打印在日志中。def compute_metrics(preds, masks): intersection (preds * masks).sum(dim(1, 2, 3)) union preds.sum(dim(1, 2, 3)) masks.sum(dim(1, 2, 3)) - intersection iou (intersection / (union 1e-6)).mean().item() dice (2 * intersection / (preds.sum(dim(1, 2, 3)) masks.sum(dim(1, 2, 3)) 1e-6)).mean().item() foreground_acc (intersection / (masks.sum(dim(1, 2, 3)) 1e-6)).mean().item() return iou, dice, foreground_acc在部署场景里如果foreground_acc高于 0.95 而iou低于 0.8说明分割结果的边缘过宽需要引入条件随机场后处理或调整预测阈值。二值图像分割系统的落地指标通常要求 mIoU 达到 0.75 以上、Dice 达到 0.82 以上才满足实际投用条件。6.2 把模型导出成 ONNX 并验证输出训练好的 PyTorch 模型不能直接放进生产环境导出成 ONNX 格式是常见做法。导出之前要固定输入尺寸转 ONNX 的过程使用的是 PyTorch 的符号追踪输入尺寸不固定会报错。import torch model.load_state_dict(torch.load(best_shrimp_seg.pth)) model.eval() dummy_input torch.randn(1, 3, 512, 512).cuda() torch.onnx.export( model, dummy_input, shrimp_seg.onnx, input_names[input], output_names[output], dynamic_axesNone, opset_version13 )导出后要验证输出的正确性用onnxruntime加载模型喂一张真实测试图像比较 PyTorch 的预测和 ONNX 的预测是否一致diff 应小于 1e-5。发现不一致大概率是因为 BatchNorm 在导出时还在训练模式下检查model.eval()调用是否生效。部署推理时我通常把输出概率图和原图缩放到原始尺寸保存成单通道 PNG。水下视频流的推理还需要设置帧间平滑对连续帧的掩码做时间维度的中值滤波能明显减少单帧误检。最后说一个习惯数据集训练的模型在换相机、换水域后会产生明显的精度掉落这不是玄学是域偏移的必然结果。做部署方案时建议预留一个小样本微调接口在新环境下采集 20~30 张图重新微调编码器比重新训练整个网络成本低得多效果也足够稳定。这些边界和技巧都是在多轮项目里踩出来的希望帮到你。本文还有配套的精品资源点击获取