简介2025年高质量数据集指南项目代码包是围绕大模型时代高质量数据集建设推出的示例工程面向AI应用开发者、数据工程师及希望掌握数据集构建路径的技术人员针对高质量场景数据供给不足、路径模糊、标准缺失等现实问题给出可参照的代码骨架。压缩包共3个文件以HTML页面为主要界面承载辅以inscode项目配置和Git忽略规则整体仅6KB结构精简既便于快速浏览界面效果也方便在本地或云端环境直接运行与二次开发。代码内容与指南中提示词工程、平台应用开发、知识库应用、微调开发、多模态应用等模块形成对应可帮助读者理解大模型全栈工程实现中的基础代码组织方式同时结合数据代表性、多样性、安全合规等构建要点为数据管理流程、版本控制及后续扩展提供实用参考。目前已有209人学习下载适合正在学习大模型应用开发并希望从代码层面快速搭建基础项目的开发者。1. 2025年高质量数据集模型效果的分水岭这两年做模型的人应该都有同感同样的网络结构别人训练出来 mAP 能到 75你复现就只有 60改 loss、调学习率都救不回来。多数情况下问题不在模型在数据。2025 年的高质量数据集不再只是“图片多、标注全”而是从来源、清洗、标注到版本管理形成了一套可验证的工程标准。这套标准直接决定了你的模型能不能在真实场景里站住脚。这篇指南就是围绕“高质量数据集怎么做”展开的适合正在训练自己的数据集、被脏数据和标注不一致折磨的算法工程师也适合准备从零搭建数据管线的团队——照着步骤做能把数据这块的坑提前踩掉一半。2. 数据来源选型2025 年还有哪些“干净”的数据可以拿2.1 开源数据集重打包最省时间但最容易踩许可的红线做项目第一反应是去下载现成数据集。常见做法是去 Open Data Commons、Hugging Face Datasets、Kaggle 这些地方找。但 2025 年的情况是真正高质量的数据集往往不是“下载即用”而是需要你自己重打包。比如语义分割领域常用的 uavid 数据集原始目录是 4 个城市的多光谱无人机视频帧下载下来之后你会发现它的标注格式是 PNG 索引图但很多人的训练代码默认读的是 JSON 多边形这就逼着你必须做一次格式转换。选型时我一般看三个维度标注格式是否贴近目标任务、许可是否允许商用、是否有社区持续维护。以 crowdhuman 为例它的标注是 odgt 格式很多检测框架不直接支持需要转成 COCO 或 YOLO 格式才能喂给 mmrotate 或 YOLOv8。这个过程里最容易出错的是类别 id 对应关系——CrowdHuman 只有 person 一类但 COCO 格式里 person 的 id 是 1你要么沿用 COCO 的 id 体系要么自定义如果不写进转换脚本里训练时 loss 直接跑到 nan 是常有的事。注意凡是从第三方仓库拉下来的数据集第一步先把 LICENSE 文件读一遍。很多数据集标注为“仅限研究”一旦拿去商用后面麻烦远大于重新标注的成本。2.2 合成数据与真实数据的配比1b token 规模下的取舍大模型时代数据集规模动不动就是 1b token 级别。但 2025 年的共识是规模不再是唯一指标数据质量和多样性才是。做视觉项目时我一般会拿合成数据补充真实数据覆盖不到的长尾场景——比如燃气管道图像数据集真实管道缺陷样本可能只有几百张但通过渲染引擎可以生成上万张不同光照、不同角度、不同腐蚀程度的合成图。合成数据和真实数据的配比我的经验是 3:7 到 5:5 之间。合成数据占比太高模型会学到渲染引擎的纹理特征在真实场景里准确率明显下降占比太低长尾问题又补不上。实践里有一个技巧把合成数据当作“预训练阶段”的数据真实数据作为“微调阶段”的数据两个阶段分开比混合训练更稳。这个做法在多模态数据集上同样有效——不同模态的数据来源和质量参差不齐先分别预训练再联合微调比一开始就混合丢进去要可控得多。2.3 自采数据的采集方案信噪比与时间维度是两个隐藏指标自己架设备采集是很多垂直项目的最终选择。常见做法是固定相机或无人机巡检但采集方案里有两个参数经常被忽略信噪比和时间维度。以一段时间内卫星信号信噪比数据集这类时间序列数据为例如果采集设备本身噪声大或者采集时段单一出来的数据集就算量再大模型的泛化能力也有限。我一般会在采集方案里加三条硬性要求覆盖不同时间段白天/夜晚/黄昏、覆盖不同天气晴天/阴天/雨天、记录采集设备的硬件参数曝光、增益、分辨率。这些元数据后面清洗时都要用——比如做夜间场景检测如果数据里 90% 都是白天样本模型在夜间的表现基本靠运气。3. 脏数据清洗与质量评估决定模型上限的隐形工程3.1 重复样本检测感知哈希与向量检索双管齐下数据清洗的第一步永远是去重。很多数据集里的重复样本不是完全相同的两张图而是同一场景的近似重复——比如视频抽帧得到的数据集相邻帧之间的差异极小把这些都丢进训练集模型会对该场景过拟合。常见做法是用感知哈希pHash先粗筛一轮再用特征向量做细查。pHash 把图片缩放到 32x32计算 DCT 系数后生成 64 位哈希值两张图的汉明距离小于 10 就判定为近似重复。但 pHash 对旋转和尺度变化不敏感所以我会加一步用预训练模型抽取特征向量计算余弦相似度超过 0.95 的视为重复。import cv2 import numpy as np from PIL import Image def phash(image_path, hash_size32): # 读取并缩放到固定尺寸统一灰度降低噪声影响 img cv2.imread(image_path, cv2.IMREAD_GRAYSCALE) img cv2.resize(img, (hash_size, hash_size), interpolationcv2.INTER_AREA) # 计算 DCT 系数取左上角低频区域作为感知特征 dct cv2.dct(np.float32(img)) dct_low dct[:8, :8] # 用中位数作为阈值转成 64 位哈希值 med np.median(dct_low) return (dct_low med).flatten().astype(np.uint8) def hamming_distance(hash1, hash2): return np.count_nonzero(hash1 ! hash2)这里的 hash_size 是缩放尺寸我一般取 32太小会丢失细节太大则哈希值对轻微压缩过于敏感。如果拿到的图片本身分辨率很低比如小于 64 像素建议直接丢弃而不是硬算。Hamming distance 的阈值设 10 是我试过比较稳的值调到 8 会漏掉一些压缩率不同的重复图调到 12 会把同一场景不同角度误判为重复。3.2 异常样本检测先从直方图和统计量入手再谈模型挑出模糊、过曝、损坏的图片视觉上很直观但数据量大之后必须用代码自动筛。我一般先做一轮统计量检查计算每张图的亮度均值、方差、边缘密度把明显异常的值打上标签。import numpy as np from PIL import Image def check_image_quality(image_path): img np.array(Image.open(image_path).convert(L)) brightness np.mean(img) # 亮度均值过暗/过曝会偏离正常范围 contrast np.std(img) # 标准差反映对比度过低多为灰蒙蒙的图 # 用 Laplacian 算子计算边缘响应模糊图的响应值极低 laplacian cv2.Laplacian(img, cv2.CV_64F).var() return { path: image_path, brightness: round(brightness, 2), contrast: round(contrast, 2), sharpness: round(laplacian, 2) }不同数据集的正常范围差异很大比如 B 超数据集整体亮度就偏低边缘响应也弱直接用统一阈值会导致误杀。我的做法是先跑完整个数据集把三个指标的分布画出来再用分位数定阈值亮度低于 5% 分位数或高于 95% 分位数的样本、清晰度低于 1% 分位数的样本进入人工复核列表。如果数据集本身是视频抽帧来的可以不用分类器直接按抽帧间隔去重省计算量。3.3 数据质量分数把“感觉”变成可量化的指标质量评估不能只靠“看起来还行”。我建议给每个样本打一个综合质量分作为后续训练时采样权重的依据。这个分数是几个子分数的加权和图像清晰度Laplacian 方差归一化、标注置信度多个标注者的一致性按 IoU 计算、类别均衡度属于长尾类别的样本加分。def quality_score(sharpness, label_confidence, is_tail_class): # 三个分项权重清晰度 0.3标注置信度 0.5长尾类别 0.2 score 0.3 * sharpness_norm 0.5 * label_confidence if is_tail_class: score 0.2 return np.clip(score, 0.0, 1.0)这个分数有两个用途一是训练时做样本加权质量分低的样本降权减少噪声对梯度的影响二是作为数据集迭代版本的依据——发布 v2 数据集时你可以直接说“相比 v1平均质量分从 0.78 提升到 0.86”这是给团队和给老板看的硬指标。HDF5 格式里元数据存为“属性”二进制数据存为“数据集”质量分这种标量属性适合放在文件的 Attribute 里而图像张量放 Dataset读写效率都更高。4. 标注与格式工程把数据变成模型能“吃”的样子4.1 标注工具选型CVAT 还是 labelme取决于你的标注类型2025 年做标注我的建议是多边形标注用 labelme视频跟踪和检测框用 CVAT语义分割用像素级工具。选型理由不在于工具本身好不好用而在于导出格式和你的训练代码对不对得上。labelme 导出的是 JSON每个文件对应一张图里面记录 polygon 的坐标点。CVAT 可以直接导出 COCO 格式省去一步转换。但要注意的是CVAT 导出的 COCO 格式里categories 是按工具里的标签顺序排列的不是按你预期的类别名排序如果训练代码里用的是自定义类别 id转换脚本里必须做映射。常见做法是让标注人员按规范完成标注后由工程师统一跑一遍格式转换。转换这一步永远不会“跑一次就完事”——每次新数据集进来多少都要改一点脚本。4.2 从 labelme 到 COCO/YOLO转换脚本与四个边界坑这里贴一段我一直在用的转换脚本核心逻辑从 labelme 的 JSON 转成 COCO 格式注意注释里的坑。import json import glob import os def labelme_to_coco(json_dir, output_path, category_map): images [] annotations [] ann_id 1 for idx, json_path in enumerate(glob.glob(os.path.join(json_dir, *.json))): with open(json_path, r, encodingutf-8) as f: data json.load(f) # 坑1labelme 的 imageData 字段可能是 base64 或 None建议直接读原图拿宽高 img_path data[imagePath] img_w data[imageWidth] img_h data[imageHeight] images.append({ id: idx, file_name: img_path, width: img_w, height: img_h }) for shape in data[shapes]: label shape[label] # 坑2category_map 里不存在的标签跳过而不是报错避免一条脏标注毁了整个转换 if label not in category_map: continue points shape[points] # 坑3labelme 的多边形点集转 COCO 的 segmentation 时需要嵌套两层列表 segmentation [ [coord for point in points for coord in point] ] x_coords [p[0] for p in points] y_coords [p[1] for p in points] x_min, y_min min(x_coords), min(y_coords) w max(x_coords) - x_min h max(y_coords) - y_min # 坑4COCO 的 bbox 宽度/高度不能为 0检测到退化框直接跳过 if w 0 or h 0: continue annotations.append({ id: ann_id, image_id: idx, category_id: category_map[label], bbox: [x_min, y_min, w, h], area: w * h, segmentation: segmentation, iscrowd: 0 }) ann_id 1 coco { images: images, annotations: annotations, categories: [{id: cid, name: name} for name, cid in category_map.items()] } with open(output_path, w, encodingutf-8) as f: json.dump(coco, f, ensure_asciiFalse)这段代码里最值得说的是 category_map 的构造。COCO 数据集的 categories id 从 1 开始而不是从 0 开始而很多人的训练代码用的是从 0 开始的 index训练前不仔细看数据集加载逻辑loss 计算会错位。另外就是 segmentation 的嵌套层级COCO 里一个多边形是[[x1,y1,x2,y2,...]]的外层列表多一个中括号或少一个都会在训练时报维度错误。4.3 多模态数据集的格式对齐文本、图像、时序数据统一管理的思路多模态数据集在 2025 年已经不是新鲜词了但大部分团队对它的管理还停留在“各存各的”。真实项目里遇到的问题往往是图像的标注文件是 COCO JSON文本标注是 CSV时序数据是 HDF5三者之间的 sample id 对不上。我的做法是统一用一个 manifest 文件做索引每行一个样本包含sample_id、image_path、text_path、series_path、quality_score等字段。训练代码只读 manifest不直接扫描目录这样加新数据、删脏数据都只需要更新 manifest不需要动代码。这个思路对多模态模型尤其重要——跨模态对齐的本质就是 sample_id 的对齐id 不一致模型根本学不到跨模态关联。5. 高质量数据集避坑指南三个最容易翻车的环节5.1 数据泄漏验证集里混进了训练集的“亲戚”现象训练时 loss 正常下降验证集准确率很高但上线后实际效果一塌糊涂。查来查去发现数据预处理时把同一视频的连续帧随机分到了训练集和验证集模型其实是在“背帧”而不是“识物”。原因随机划分数据集时没有按视频片段、病例或时间段做分组隔离。尤其是视频抽帧和同一样本的多视图数据最容易出现这种泄漏。解决划分数据集时按“组”为单位而不是按“样本”为单位。比如视频数据先按视频 id 分组再把整个组划入训练集或验证集医疗影像按 patient id 分组。代码上就是先把所有唯一的 group id 做 train_test_split再映射回样本。5.2 类别不均衡导致训练即崩溃现象训练初期 loss 正常几个 epoch 后 loss 开始震荡甚至直接 nan。检查标注发现某个类别只有几十个样本而另一类有几十万。原因数据集中类别分布极端失衡训练时每个 batch 都没有该类别的样本模型对该类别的梯度极不稳定。解决用 class frequency 给每个类别算采样权重做 weight sampling。代码上在 DataLoader 里把sampler换成WeightedRandomSampler权重取类别样本数的倒数再归一化。这里要注意过高的权重会导致模型对少样本类别过拟合经验值是权重上限设为最大类别样本数的 0.2 倍防止极端值。5.3 文件损坏与静默跳过“少了几百张图”的玄学现象训练完发现模型收敛得很快但精度上不去。看日志发现数据加载时频繁报“image file is truncated”库默认跳过坏图但你不一定注意到。原因下载中断、压缩包损坏、或从第三方仓库拷贝时出现的文件不完整。问题在于大多数 DataLoader 的容错处理是“跳过”但不会给你一个汇总报告。解决在训练前先跑一遍全量数据完整性检查把所有损坏文件统一移入corrupted/目录并输出一个清单。不要依赖训练时的报错——那时候已经在浪费算力了。检查脚本很简单用 PIL 打开每张图捕获异常即可但一定要把失败的路径记录下来不然修完还得重新扫。这也算是一个给自己留“后悔药”的好习惯。6. 把质量门禁固化进 pipeline让“高质量”从口号变成流程数据集的维护是一次性的还是可持续的差别很大。我的做法是把前面章节的做法固化成四个阶段采集入库、自动清洗、标注校验、版本发布每个阶段跑完自动生成一份质量报告。这份报告包含样本总数、类别分布、质量分中位数、重复率、损坏文件数以及和上一个版本的对比数据。验证方法也很直接拿同一个模型在新旧两个版本的数据集上从头训练对比验证集指标。如果新数据集版本没能带来指标提升说明清洗方向可能有问题回看质量报告定位是哪一步出了问题。这类回归验证不应该手动跑可以写成一个脚本放在 pipeline 里每次数据集发布新版本时自动触发。最后一件事我会在团队的代码仓库里维护一个 DATASET.md记录每个版本的改动原因和已知问题。数据集的坑往往不是在创建时出现的而是半年后别人接手时发现的——他不知道为什么某个目录被删了不知道为什么某个类别改过 id。把这些历史写清楚比任何“高质量数据集”的名头都管用。这是我做了几年数据工程后最深刻的教训希望帮到你。本文还有配套的精品资源点击获取 脏数据清洗与标注格式：决定模型上限的隐形工程
简介2025年高质量数据集指南项目代码包是围绕大模型时代高质量数据集建设推出的示例工程面向AI应用开发者、数据工程师及希望掌握数据集构建路径的技术人员针对高质量场景数据供给不足、路径模糊、标准缺失等现实问题给出可参照的代码骨架。压缩包共3个文件以HTML页面为主要界面承载辅以inscode项目配置和Git忽略规则整体仅6KB结构精简既便于快速浏览界面效果也方便在本地或云端环境直接运行与二次开发。代码内容与指南中提示词工程、平台应用开发、知识库应用、微调开发、多模态应用等模块形成对应可帮助读者理解大模型全栈工程实现中的基础代码组织方式同时结合数据代表性、多样性、安全合规等构建要点为数据管理流程、版本控制及后续扩展提供实用参考。目前已有209人学习下载适合正在学习大模型应用开发并希望从代码层面快速搭建基础项目的开发者。1. 2025年高质量数据集模型效果的分水岭这两年做模型的人应该都有同感同样的网络结构别人训练出来 mAP 能到 75你复现就只有 60改 loss、调学习率都救不回来。多数情况下问题不在模型在数据。2025 年的高质量数据集不再只是“图片多、标注全”而是从来源、清洗、标注到版本管理形成了一套可验证的工程标准。这套标准直接决定了你的模型能不能在真实场景里站住脚。这篇指南就是围绕“高质量数据集怎么做”展开的适合正在训练自己的数据集、被脏数据和标注不一致折磨的算法工程师也适合准备从零搭建数据管线的团队——照着步骤做能把数据这块的坑提前踩掉一半。2. 数据来源选型2025 年还有哪些“干净”的数据可以拿2.1 开源数据集重打包最省时间但最容易踩许可的红线做项目第一反应是去下载现成数据集。常见做法是去 Open Data Commons、Hugging Face Datasets、Kaggle 这些地方找。但 2025 年的情况是真正高质量的数据集往往不是“下载即用”而是需要你自己重打包。比如语义分割领域常用的 uavid 数据集原始目录是 4 个城市的多光谱无人机视频帧下载下来之后你会发现它的标注格式是 PNG 索引图但很多人的训练代码默认读的是 JSON 多边形这就逼着你必须做一次格式转换。选型时我一般看三个维度标注格式是否贴近目标任务、许可是否允许商用、是否有社区持续维护。以 crowdhuman 为例它的标注是 odgt 格式很多检测框架不直接支持需要转成 COCO 或 YOLO 格式才能喂给 mmrotate 或 YOLOv8。这个过程里最容易出错的是类别 id 对应关系——CrowdHuman 只有 person 一类但 COCO 格式里 person 的 id 是 1你要么沿用 COCO 的 id 体系要么自定义如果不写进转换脚本里训练时 loss 直接跑到 nan 是常有的事。注意凡是从第三方仓库拉下来的数据集第一步先把 LICENSE 文件读一遍。很多数据集标注为“仅限研究”一旦拿去商用后面麻烦远大于重新标注的成本。2.2 合成数据与真实数据的配比1b token 规模下的取舍大模型时代数据集规模动不动就是 1b token 级别。但 2025 年的共识是规模不再是唯一指标数据质量和多样性才是。做视觉项目时我一般会拿合成数据补充真实数据覆盖不到的长尾场景——比如燃气管道图像数据集真实管道缺陷样本可能只有几百张但通过渲染引擎可以生成上万张不同光照、不同角度、不同腐蚀程度的合成图。合成数据和真实数据的配比我的经验是 3:7 到 5:5 之间。合成数据占比太高模型会学到渲染引擎的纹理特征在真实场景里准确率明显下降占比太低长尾问题又补不上。实践里有一个技巧把合成数据当作“预训练阶段”的数据真实数据作为“微调阶段”的数据两个阶段分开比混合训练更稳。这个做法在多模态数据集上同样有效——不同模态的数据来源和质量参差不齐先分别预训练再联合微调比一开始就混合丢进去要可控得多。2.3 自采数据的采集方案信噪比与时间维度是两个隐藏指标自己架设备采集是很多垂直项目的最终选择。常见做法是固定相机或无人机巡检但采集方案里有两个参数经常被忽略信噪比和时间维度。以一段时间内卫星信号信噪比数据集这类时间序列数据为例如果采集设备本身噪声大或者采集时段单一出来的数据集就算量再大模型的泛化能力也有限。我一般会在采集方案里加三条硬性要求覆盖不同时间段白天/夜晚/黄昏、覆盖不同天气晴天/阴天/雨天、记录采集设备的硬件参数曝光、增益、分辨率。这些元数据后面清洗时都要用——比如做夜间场景检测如果数据里 90% 都是白天样本模型在夜间的表现基本靠运气。3. 脏数据清洗与质量评估决定模型上限的隐形工程3.1 重复样本检测感知哈希与向量检索双管齐下数据清洗的第一步永远是去重。很多数据集里的重复样本不是完全相同的两张图而是同一场景的近似重复——比如视频抽帧得到的数据集相邻帧之间的差异极小把这些都丢进训练集模型会对该场景过拟合。常见做法是用感知哈希pHash先粗筛一轮再用特征向量做细查。pHash 把图片缩放到 32x32计算 DCT 系数后生成 64 位哈希值两张图的汉明距离小于 10 就判定为近似重复。但 pHash 对旋转和尺度变化不敏感所以我会加一步用预训练模型抽取特征向量计算余弦相似度超过 0.95 的视为重复。import cv2 import numpy as np from PIL import Image def phash(image_path, hash_size32): # 读取并缩放到固定尺寸统一灰度降低噪声影响 img cv2.imread(image_path, cv2.IMREAD_GRAYSCALE) img cv2.resize(img, (hash_size, hash_size), interpolationcv2.INTER_AREA) # 计算 DCT 系数取左上角低频区域作为感知特征 dct cv2.dct(np.float32(img)) dct_low dct[:8, :8] # 用中位数作为阈值转成 64 位哈希值 med np.median(dct_low) return (dct_low med).flatten().astype(np.uint8) def hamming_distance(hash1, hash2): return np.count_nonzero(hash1 ! hash2)这里的 hash_size 是缩放尺寸我一般取 32太小会丢失细节太大则哈希值对轻微压缩过于敏感。如果拿到的图片本身分辨率很低比如小于 64 像素建议直接丢弃而不是硬算。Hamming distance 的阈值设 10 是我试过比较稳的值调到 8 会漏掉一些压缩率不同的重复图调到 12 会把同一场景不同角度误判为重复。3.2 异常样本检测先从直方图和统计量入手再谈模型挑出模糊、过曝、损坏的图片视觉上很直观但数据量大之后必须用代码自动筛。我一般先做一轮统计量检查计算每张图的亮度均值、方差、边缘密度把明显异常的值打上标签。import numpy as np from PIL import Image def check_image_quality(image_path): img np.array(Image.open(image_path).convert(L)) brightness np.mean(img) # 亮度均值过暗/过曝会偏离正常范围 contrast np.std(img) # 标准差反映对比度过低多为灰蒙蒙的图 # 用 Laplacian 算子计算边缘响应模糊图的响应值极低 laplacian cv2.Laplacian(img, cv2.CV_64F).var() return { path: image_path, brightness: round(brightness, 2), contrast: round(contrast, 2), sharpness: round(laplacian, 2) }不同数据集的正常范围差异很大比如 B 超数据集整体亮度就偏低边缘响应也弱直接用统一阈值会导致误杀。我的做法是先跑完整个数据集把三个指标的分布画出来再用分位数定阈值亮度低于 5% 分位数或高于 95% 分位数的样本、清晰度低于 1% 分位数的样本进入人工复核列表。如果数据集本身是视频抽帧来的可以不用分类器直接按抽帧间隔去重省计算量。3.3 数据质量分数把“感觉”变成可量化的指标质量评估不能只靠“看起来还行”。我建议给每个样本打一个综合质量分作为后续训练时采样权重的依据。这个分数是几个子分数的加权和图像清晰度Laplacian 方差归一化、标注置信度多个标注者的一致性按 IoU 计算、类别均衡度属于长尾类别的样本加分。def quality_score(sharpness, label_confidence, is_tail_class): # 三个分项权重清晰度 0.3标注置信度 0.5长尾类别 0.2 score 0.3 * sharpness_norm 0.5 * label_confidence if is_tail_class: score 0.2 return np.clip(score, 0.0, 1.0)这个分数有两个用途一是训练时做样本加权质量分低的样本降权减少噪声对梯度的影响二是作为数据集迭代版本的依据——发布 v2 数据集时你可以直接说“相比 v1平均质量分从 0.78 提升到 0.86”这是给团队和给老板看的硬指标。HDF5 格式里元数据存为“属性”二进制数据存为“数据集”质量分这种标量属性适合放在文件的 Attribute 里而图像张量放 Dataset读写效率都更高。4. 标注与格式工程把数据变成模型能“吃”的样子4.1 标注工具选型CVAT 还是 labelme取决于你的标注类型2025 年做标注我的建议是多边形标注用 labelme视频跟踪和检测框用 CVAT语义分割用像素级工具。选型理由不在于工具本身好不好用而在于导出格式和你的训练代码对不对得上。labelme 导出的是 JSON每个文件对应一张图里面记录 polygon 的坐标点。CVAT 可以直接导出 COCO 格式省去一步转换。但要注意的是CVAT 导出的 COCO 格式里categories 是按工具里的标签顺序排列的不是按你预期的类别名排序如果训练代码里用的是自定义类别 id转换脚本里必须做映射。常见做法是让标注人员按规范完成标注后由工程师统一跑一遍格式转换。转换这一步永远不会“跑一次就完事”——每次新数据集进来多少都要改一点脚本。4.2 从 labelme 到 COCO/YOLO转换脚本与四个边界坑这里贴一段我一直在用的转换脚本核心逻辑从 labelme 的 JSON 转成 COCO 格式注意注释里的坑。import json import glob import os def labelme_to_coco(json_dir, output_path, category_map): images [] annotations [] ann_id 1 for idx, json_path in enumerate(glob.glob(os.path.join(json_dir, *.json))): with open(json_path, r, encodingutf-8) as f: data json.load(f) # 坑1labelme 的 imageData 字段可能是 base64 或 None建议直接读原图拿宽高 img_path data[imagePath] img_w data[imageWidth] img_h data[imageHeight] images.append({ id: idx, file_name: img_path, width: img_w, height: img_h }) for shape in data[shapes]: label shape[label] # 坑2category_map 里不存在的标签跳过而不是报错避免一条脏标注毁了整个转换 if label not in category_map: continue points shape[points] # 坑3labelme 的多边形点集转 COCO 的 segmentation 时需要嵌套两层列表 segmentation [ [coord for point in points for coord in point] ] x_coords [p[0] for p in points] y_coords [p[1] for p in points] x_min, y_min min(x_coords), min(y_coords) w max(x_coords) - x_min h max(y_coords) - y_min # 坑4COCO 的 bbox 宽度/高度不能为 0检测到退化框直接跳过 if w 0 or h 0: continue annotations.append({ id: ann_id, image_id: idx, category_id: category_map[label], bbox: [x_min, y_min, w, h], area: w * h, segmentation: segmentation, iscrowd: 0 }) ann_id 1 coco { images: images, annotations: annotations, categories: [{id: cid, name: name} for name, cid in category_map.items()] } with open(output_path, w, encodingutf-8) as f: json.dump(coco, f, ensure_asciiFalse)这段代码里最值得说的是 category_map 的构造。COCO 数据集的 categories id 从 1 开始而不是从 0 开始而很多人的训练代码用的是从 0 开始的 index训练前不仔细看数据集加载逻辑loss 计算会错位。另外就是 segmentation 的嵌套层级COCO 里一个多边形是[[x1,y1,x2,y2,...]]的外层列表多一个中括号或少一个都会在训练时报维度错误。4.3 多模态数据集的格式对齐文本、图像、时序数据统一管理的思路多模态数据集在 2025 年已经不是新鲜词了但大部分团队对它的管理还停留在“各存各的”。真实项目里遇到的问题往往是图像的标注文件是 COCO JSON文本标注是 CSV时序数据是 HDF5三者之间的 sample id 对不上。我的做法是统一用一个 manifest 文件做索引每行一个样本包含sample_id、image_path、text_path、series_path、quality_score等字段。训练代码只读 manifest不直接扫描目录这样加新数据、删脏数据都只需要更新 manifest不需要动代码。这个思路对多模态模型尤其重要——跨模态对齐的本质就是 sample_id 的对齐id 不一致模型根本学不到跨模态关联。5. 高质量数据集避坑指南三个最容易翻车的环节5.1 数据泄漏验证集里混进了训练集的“亲戚”现象训练时 loss 正常下降验证集准确率很高但上线后实际效果一塌糊涂。查来查去发现数据预处理时把同一视频的连续帧随机分到了训练集和验证集模型其实是在“背帧”而不是“识物”。原因随机划分数据集时没有按视频片段、病例或时间段做分组隔离。尤其是视频抽帧和同一样本的多视图数据最容易出现这种泄漏。解决划分数据集时按“组”为单位而不是按“样本”为单位。比如视频数据先按视频 id 分组再把整个组划入训练集或验证集医疗影像按 patient id 分组。代码上就是先把所有唯一的 group id 做 train_test_split再映射回样本。5.2 类别不均衡导致训练即崩溃现象训练初期 loss 正常几个 epoch 后 loss 开始震荡甚至直接 nan。检查标注发现某个类别只有几十个样本而另一类有几十万。原因数据集中类别分布极端失衡训练时每个 batch 都没有该类别的样本模型对该类别的梯度极不稳定。解决用 class frequency 给每个类别算采样权重做 weight sampling。代码上在 DataLoader 里把sampler换成WeightedRandomSampler权重取类别样本数的倒数再归一化。这里要注意过高的权重会导致模型对少样本类别过拟合经验值是权重上限设为最大类别样本数的 0.2 倍防止极端值。5.3 文件损坏与静默跳过“少了几百张图”的玄学现象训练完发现模型收敛得很快但精度上不去。看日志发现数据加载时频繁报“image file is truncated”库默认跳过坏图但你不一定注意到。原因下载中断、压缩包损坏、或从第三方仓库拷贝时出现的文件不完整。问题在于大多数 DataLoader 的容错处理是“跳过”但不会给你一个汇总报告。解决在训练前先跑一遍全量数据完整性检查把所有损坏文件统一移入corrupted/目录并输出一个清单。不要依赖训练时的报错——那时候已经在浪费算力了。检查脚本很简单用 PIL 打开每张图捕获异常即可但一定要把失败的路径记录下来不然修完还得重新扫。这也算是一个给自己留“后悔药”的好习惯。6. 把质量门禁固化进 pipeline让“高质量”从口号变成流程数据集的维护是一次性的还是可持续的差别很大。我的做法是把前面章节的做法固化成四个阶段采集入库、自动清洗、标注校验、版本发布每个阶段跑完自动生成一份质量报告。这份报告包含样本总数、类别分布、质量分中位数、重复率、损坏文件数以及和上一个版本的对比数据。验证方法也很直接拿同一个模型在新旧两个版本的数据集上从头训练对比验证集指标。如果新数据集版本没能带来指标提升说明清洗方向可能有问题回看质量报告定位是哪一步出了问题。这类回归验证不应该手动跑可以写成一个脚本放在 pipeline 里每次数据集发布新版本时自动触发。最后一件事我会在团队的代码仓库里维护一个 DATASET.md记录每个版本的改动原因和已知问题。数据集的坑往往不是在创建时出现的而是半年后别人接手时发现的——他不知道为什么某个目录被删了不知道为什么某个类别改过 id。把这些历史写清楚比任何“高质量数据集”的名头都管用。这是我做了几年数据工程后最深刻的教训希望帮到你。本文还有配套的精品资源点击获取