1. WeDetect开放词汇目标检测的检索式新范式计算机视觉领域正在经历一场从封闭集识别到开放词汇理解的范式转变。传统目标检测器受限于预定义的类别标签而开放词汇目标检测Open-Vocabulary Object Detection, OVOD通过文本提示实现了对任意类别对象的识别与定位。这项技术的核心挑战在于建立细粒度的视觉-语言对齐——如何让模型理解一只戴红色围巾的柯基犬这样的复杂描述并准确框定图像中的对应区域。当前主流方法如Grounding DINO等依赖深度跨模态融合层来实现视觉与语言特征的交互虽然取得了较高的准确率但其计算密集型的设计导致推理速度大幅下降通常低于10 FPS。更关键的是这类方法生成的视觉特征会随查询文本变化而改变无法在不同文本提示间共享计算结果。例如在包含1,203个类别的LVIS数据集上评估时需要执行31次独立的前向传播单张图像的处理耗时可达数秒。WeDetect创新性地采用检索式识别范式将目标检测重构为嵌入空间中的相似度匹配问题。这种双塔架构Dual-Tower Architecture完全摒弃了跨模态融合层其核心优势体现在特征共享视觉特征只需计算一次即可响应所有文本查询实时性能基础模型推理速度达62.5 FPS是融合式方法的6-15倍系统扩展性支持历史数据回溯、对象检索等新型应用场景关键技术突破通过精心设计的模型架构、数据引擎和训练策略WeDetect在LVIS基准上以62.5 FPS的速度达到49.4 AP超越了所有依赖跨模态融合的现有方法证明了检索式范式在精度和效率上的双重优势。1.1 双塔架构设计解析WeDetect的模型架构继承自CLIP的对比学习框架但针对目标检测任务进行了深度改造视觉编码器采用ConvNeXt作为骨干网络相比原始CLIP使用的ViT其卷积 inductive bias 更适合处理密集预测任务。网络输出多尺度特征图1/8, 1/16, 1/32下采样率通过CSPRepBiFPAN颈部网络进行特征融合。这种设计在保持CLIP强大语义理解能力的同时优化了空间定位性能。文本编码器基于XLM-RoBERTa支持多语言文本输入。与视觉编码器平行运作两者共享512维的嵌入空间。检测头采用YOLO-World的对比式设计通过区域-文本对比损失实现开放词汇分类配合GIoU损失进行边界框回归。与传统方法的关键差异在于无交叉注意力层避免特征融合带来的计算开销点积相似度计算网格特征与文本嵌入直接相乘得到分类分数静态视觉特征同一图像对不同文本查询复用特征图# 伪代码展示核心推理过程 visual_features vision_encoder(image) # [H,W,512] text_embeddings text_encoder(prompts) # [N,512] # 点积相似度计算 logits einsum(hwc,nc-hwn, visual_features, text_embeddings) boxes detection_head(visual_features) # [H,W,4]1.2 数据引擎构建方法论高质量训练数据是开放词汇检测的基础。现有开源标注数据集如GoldG存在三个主要问题规模有限通常100万图像、标注不完整平均每图仅标注3-5个对象、文本多样性不足多为简单名词短语。WeDetect构建了包含1500万图像、3.3亿标注框的超大规模数据集其数据流水线包含两个创新阶段源图像采样策略多源混合整合SAM-1B、LAION、CC12M等15个视觉数据集概念平衡利用原始描述中的罕见名词进行过采样领域覆盖确保包含艺术、专业设备、稀有动物等长尾场景自动化标注流程通用对象检测器在现有检测数据集上预训练召回图像中所有潜在对象多粒度标签生成使用微调后的Qwen2.5-VL 7B模型为每个对象生成层次化描述粗粒度标签动物细粒度标签狗实例级描述一只正在接飞盘的黄金猎犬质量控制系统结构化输出模板确保标注一致性拒绝识别机制过滤低质量检测框SAM生成的分割掩码增强局部感知这种自动化流程产生的标注质量接近人工水平而成本仅为传统标注的1/20。数据示例如下图像类型标注框数量文本多样性指数日常场景23.4 ±5.27.8 (0-10分制)专业场景18.1 ±4.76.2艺术图像15.3 ±3.99.11.3 三阶段训练策略为使模型同时具备强大的开放词汇能力和精确的定位性能WeDetect采用渐进式训练方案阶段一图像级对比预训练目标继承CLIP的语义理解能力方法在5亿图像-文本对上训练视觉和文本编码器关键技巧采用Hard Negative Mining提升细粒度区分能力阶段二检测头冷启动冻结预训练编码器仅训练颈部网络和检测头使用平衡采样的100万标注图像阶段三端到端微调解冻全部参数在完整数据集上训练引入多粒度标签采样每个对象随机选择描述层级增加批次内负样本多样性训练过程中的关键超参数学习率阶段二5e-4阶段三1e-5批次大小4096阶段一、256阶段二/三优化器AdamW with cosine衰减训练时长阶段一2周阶段二3天阶段三1周2. 核心技术创新与实现细节2.1 多尺度特征对齐技术开放词汇检测的核心难点在于如何将CLIP的图像级表征能力迁移到区域级识别任务。WeDetect通过三个关键技术解决这个问题跨尺度对比学习 在特征金字塔的每个层级P3-P5独立计算对比损失迫使模型在不同分辨率下保持语义一致性。具体实现为# 多尺度对比损失计算 for lvl in [P3, P4, P5]: text_emb text_encoder(class_names) vis_feat resize(visual_features[lvl], (H,W)) logits einsum(hwc,nc-hwn, vis_feat, text_emb) loss contrastive_loss(logits, labels)动态标签分配 根据目标尺寸自动选择最佳特征层级小目标32×32P3高分辨率特征中目标32-96pxP4大目标96pxP5文本增强策略同义词替换狗 → 犬科动物属性扩展汽车 → 红色轿车多语言混合cat 猫2.2 推理优化技巧尽管双塔架构本身具有高效性在实际部署中仍需特别优化文本查询批处理 将多个提示拼接为单一文本输入利用编码器的上下文理解能力减少重复计算# 高效文本编码 prompts [狗, 汽车, 红色交通灯] text_emb text_encoder(、.join(prompts)) # 单次前向传播特征缓存机制 对静态场景如视频分析视觉特征只需计算一次并缓存后续帧通过相似度比对实现实时跟踪。量化部署方案视觉编码器INT8量化精度损失0.5%文本编码器FP16精度在Jetson Orin上实现45 FPS实时推理2.3 性能基准对比在LVIS minival数据集上的零样本评估结果模型参数量APAPrAPcAPfFPSGrounding DINO-T172M27.418.123.332.76.0YOLO-World-L48M35.427.634.138.054.6WeDetect-Tiny33M37.433.336.838.862.5WeDetect-Large490M55.051.154.556.16.0关键发现小模型速度优势显著超越YOLO-World 15%大模型精度突破在罕见类别(APr)上提升33%计算效率比融合式方法高6-30倍3. 应用扩展WeDetect-Uni与WeDetect-Ref3.1 通用提案生成器WeDetect-Uni基于WeDetect的冻结参数仅通过训练一个可学习的objectness提示词如可检测对象即可实现类无关的对象提案生成。其技术特点包括类特定嵌入保留 不同于传统RPN生成的类无关提案WeDetect-Uni的框嵌入仍保持类别区分度。这使得提案可用于后续的细粒度检索任务。两阶段检索流程离线阶段对图像库提取并缓存top-k提案的视觉嵌入在线阶段用户查询文本与缓存嵌入实时比对在COCO数据集上的检索性能方法提案数mAP0.5延迟(ms)CLIP146.415WeDetect-Uni10082.518WeDetect-Uni30085.6223.2 指代表达理解模型WeDetect-Ref针对复杂语言描述如左侧第二把椅子WeDetect-Ref创新性地将REC任务重构为检索问题架构设计视觉侧使用WeDetect-Uni提取候选提案100-300个语言侧Qwen3-VL编码用户查询交互方式将提案特征作为特殊token输入LLM并行计算匹配分数训练策略区域投影器训练学习将ROI特征压缩为单个token区域感知微调增强LLM对局部特征的关注分类头微调替换自回归预测为sigmoid分类在RefCOCOg测试集上的结果模型参数量准确率FPSQwen3-VL4B87.70.4WeDetect-Ref4B93.95.3速度提升13倍的关键在于摒弃next-token预测并行处理所有提案使用FlashAttention加速计算4. 实战部署指南4.1 环境配置建议# 基础环境 conda create -n wedetect python3.10 conda install pytorch2.1.0 torchvision0.16.0 -c pytorch # 安装WeDetect git clone https://github.com/WeChatCV/WeDetect pip install -e . # 可选项[dev]用于开发模式4.2 典型使用场景基础检测from wedetect import WeDetect model WeDetect.from_pretrained(WeDetect-Large) boxes, scores model.predict( imagestreet.jpg, prompts[电动车, 戴头盔的人], score_thresh0.3 )历史数据检索# 离线特征提取 db WeDetectUni.build_feature_database( image_folderarchive/2023, batch_size32 ) # 在线查询 results db.search( query未佩戴安全帽的工人, top_k50 )4.3 性能调优技巧分辨率选择640×640平衡速度与精度1280×1280提升小目标检测APs 12%提示词工程添加属性红色汽车比汽车准确率高9%使用否定词非智能手机可过滤90%误检硬件适配NVIDIA T4启用TensorRT加速Intel CPU使用OpenVINO优化5. 局限性与未来方向当前WeDetect仍存在一些挑战细粒度属性识别对斑马纹的沙发等复杂描述准确率较低约65%长尾分布在专业领域如医疗设备表现有待提升视频理解时序一致性保持需要额外优化我们在后续版本中计划引入动态分辨率机制集成扩散模型进行视觉-语言联合推理开发移动端优化版本检索式识别范式为开放词汇检测提供了新的技术路径其高效、灵活的特性特别适合需要实时处理海量数据的应用场景。WeDetect代码库已开源包含预训练模型和详细文档欢迎社区共同推进这一方向的发展。
WeDetect：开放词汇目标检测的检索式新范式
发布时间：2026/6/4 4:04:06
1. WeDetect开放词汇目标检测的检索式新范式计算机视觉领域正在经历一场从封闭集识别到开放词汇理解的范式转变。传统目标检测器受限于预定义的类别标签而开放词汇目标检测Open-Vocabulary Object Detection, OVOD通过文本提示实现了对任意类别对象的识别与定位。这项技术的核心挑战在于建立细粒度的视觉-语言对齐——如何让模型理解一只戴红色围巾的柯基犬这样的复杂描述并准确框定图像中的对应区域。当前主流方法如Grounding DINO等依赖深度跨模态融合层来实现视觉与语言特征的交互虽然取得了较高的准确率但其计算密集型的设计导致推理速度大幅下降通常低于10 FPS。更关键的是这类方法生成的视觉特征会随查询文本变化而改变无法在不同文本提示间共享计算结果。例如在包含1,203个类别的LVIS数据集上评估时需要执行31次独立的前向传播单张图像的处理耗时可达数秒。WeDetect创新性地采用检索式识别范式将目标检测重构为嵌入空间中的相似度匹配问题。这种双塔架构Dual-Tower Architecture完全摒弃了跨模态融合层其核心优势体现在特征共享视觉特征只需计算一次即可响应所有文本查询实时性能基础模型推理速度达62.5 FPS是融合式方法的6-15倍系统扩展性支持历史数据回溯、对象检索等新型应用场景关键技术突破通过精心设计的模型架构、数据引擎和训练策略WeDetect在LVIS基准上以62.5 FPS的速度达到49.4 AP超越了所有依赖跨模态融合的现有方法证明了检索式范式在精度和效率上的双重优势。1.1 双塔架构设计解析WeDetect的模型架构继承自CLIP的对比学习框架但针对目标检测任务进行了深度改造视觉编码器采用ConvNeXt作为骨干网络相比原始CLIP使用的ViT其卷积 inductive bias 更适合处理密集预测任务。网络输出多尺度特征图1/8, 1/16, 1/32下采样率通过CSPRepBiFPAN颈部网络进行特征融合。这种设计在保持CLIP强大语义理解能力的同时优化了空间定位性能。文本编码器基于XLM-RoBERTa支持多语言文本输入。与视觉编码器平行运作两者共享512维的嵌入空间。检测头采用YOLO-World的对比式设计通过区域-文本对比损失实现开放词汇分类配合GIoU损失进行边界框回归。与传统方法的关键差异在于无交叉注意力层避免特征融合带来的计算开销点积相似度计算网格特征与文本嵌入直接相乘得到分类分数静态视觉特征同一图像对不同文本查询复用特征图# 伪代码展示核心推理过程 visual_features vision_encoder(image) # [H,W,512] text_embeddings text_encoder(prompts) # [N,512] # 点积相似度计算 logits einsum(hwc,nc-hwn, visual_features, text_embeddings) boxes detection_head(visual_features) # [H,W,4]1.2 数据引擎构建方法论高质量训练数据是开放词汇检测的基础。现有开源标注数据集如GoldG存在三个主要问题规模有限通常100万图像、标注不完整平均每图仅标注3-5个对象、文本多样性不足多为简单名词短语。WeDetect构建了包含1500万图像、3.3亿标注框的超大规模数据集其数据流水线包含两个创新阶段源图像采样策略多源混合整合SAM-1B、LAION、CC12M等15个视觉数据集概念平衡利用原始描述中的罕见名词进行过采样领域覆盖确保包含艺术、专业设备、稀有动物等长尾场景自动化标注流程通用对象检测器在现有检测数据集上预训练召回图像中所有潜在对象多粒度标签生成使用微调后的Qwen2.5-VL 7B模型为每个对象生成层次化描述粗粒度标签动物细粒度标签狗实例级描述一只正在接飞盘的黄金猎犬质量控制系统结构化输出模板确保标注一致性拒绝识别机制过滤低质量检测框SAM生成的分割掩码增强局部感知这种自动化流程产生的标注质量接近人工水平而成本仅为传统标注的1/20。数据示例如下图像类型标注框数量文本多样性指数日常场景23.4 ±5.27.8 (0-10分制)专业场景18.1 ±4.76.2艺术图像15.3 ±3.99.11.3 三阶段训练策略为使模型同时具备强大的开放词汇能力和精确的定位性能WeDetect采用渐进式训练方案阶段一图像级对比预训练目标继承CLIP的语义理解能力方法在5亿图像-文本对上训练视觉和文本编码器关键技巧采用Hard Negative Mining提升细粒度区分能力阶段二检测头冷启动冻结预训练编码器仅训练颈部网络和检测头使用平衡采样的100万标注图像阶段三端到端微调解冻全部参数在完整数据集上训练引入多粒度标签采样每个对象随机选择描述层级增加批次内负样本多样性训练过程中的关键超参数学习率阶段二5e-4阶段三1e-5批次大小4096阶段一、256阶段二/三优化器AdamW with cosine衰减训练时长阶段一2周阶段二3天阶段三1周2. 核心技术创新与实现细节2.1 多尺度特征对齐技术开放词汇检测的核心难点在于如何将CLIP的图像级表征能力迁移到区域级识别任务。WeDetect通过三个关键技术解决这个问题跨尺度对比学习 在特征金字塔的每个层级P3-P5独立计算对比损失迫使模型在不同分辨率下保持语义一致性。具体实现为# 多尺度对比损失计算 for lvl in [P3, P4, P5]: text_emb text_encoder(class_names) vis_feat resize(visual_features[lvl], (H,W)) logits einsum(hwc,nc-hwn, vis_feat, text_emb) loss contrastive_loss(logits, labels)动态标签分配 根据目标尺寸自动选择最佳特征层级小目标32×32P3高分辨率特征中目标32-96pxP4大目标96pxP5文本增强策略同义词替换狗 → 犬科动物属性扩展汽车 → 红色轿车多语言混合cat 猫2.2 推理优化技巧尽管双塔架构本身具有高效性在实际部署中仍需特别优化文本查询批处理 将多个提示拼接为单一文本输入利用编码器的上下文理解能力减少重复计算# 高效文本编码 prompts [狗, 汽车, 红色交通灯] text_emb text_encoder(、.join(prompts)) # 单次前向传播特征缓存机制 对静态场景如视频分析视觉特征只需计算一次并缓存后续帧通过相似度比对实现实时跟踪。量化部署方案视觉编码器INT8量化精度损失0.5%文本编码器FP16精度在Jetson Orin上实现45 FPS实时推理2.3 性能基准对比在LVIS minival数据集上的零样本评估结果模型参数量APAPrAPcAPfFPSGrounding DINO-T172M27.418.123.332.76.0YOLO-World-L48M35.427.634.138.054.6WeDetect-Tiny33M37.433.336.838.862.5WeDetect-Large490M55.051.154.556.16.0关键发现小模型速度优势显著超越YOLO-World 15%大模型精度突破在罕见类别(APr)上提升33%计算效率比融合式方法高6-30倍3. 应用扩展WeDetect-Uni与WeDetect-Ref3.1 通用提案生成器WeDetect-Uni基于WeDetect的冻结参数仅通过训练一个可学习的objectness提示词如可检测对象即可实现类无关的对象提案生成。其技术特点包括类特定嵌入保留 不同于传统RPN生成的类无关提案WeDetect-Uni的框嵌入仍保持类别区分度。这使得提案可用于后续的细粒度检索任务。两阶段检索流程离线阶段对图像库提取并缓存top-k提案的视觉嵌入在线阶段用户查询文本与缓存嵌入实时比对在COCO数据集上的检索性能方法提案数mAP0.5延迟(ms)CLIP146.415WeDetect-Uni10082.518WeDetect-Uni30085.6223.2 指代表达理解模型WeDetect-Ref针对复杂语言描述如左侧第二把椅子WeDetect-Ref创新性地将REC任务重构为检索问题架构设计视觉侧使用WeDetect-Uni提取候选提案100-300个语言侧Qwen3-VL编码用户查询交互方式将提案特征作为特殊token输入LLM并行计算匹配分数训练策略区域投影器训练学习将ROI特征压缩为单个token区域感知微调增强LLM对局部特征的关注分类头微调替换自回归预测为sigmoid分类在RefCOCOg测试集上的结果模型参数量准确率FPSQwen3-VL4B87.70.4WeDetect-Ref4B93.95.3速度提升13倍的关键在于摒弃next-token预测并行处理所有提案使用FlashAttention加速计算4. 实战部署指南4.1 环境配置建议# 基础环境 conda create -n wedetect python3.10 conda install pytorch2.1.0 torchvision0.16.0 -c pytorch # 安装WeDetect git clone https://github.com/WeChatCV/WeDetect pip install -e . # 可选项[dev]用于开发模式4.2 典型使用场景基础检测from wedetect import WeDetect model WeDetect.from_pretrained(WeDetect-Large) boxes, scores model.predict( imagestreet.jpg, prompts[电动车, 戴头盔的人], score_thresh0.3 )历史数据检索# 离线特征提取 db WeDetectUni.build_feature_database( image_folderarchive/2023, batch_size32 ) # 在线查询 results db.search( query未佩戴安全帽的工人, top_k50 )4.3 性能调优技巧分辨率选择640×640平衡速度与精度1280×1280提升小目标检测APs 12%提示词工程添加属性红色汽车比汽车准确率高9%使用否定词非智能手机可过滤90%误检硬件适配NVIDIA T4启用TensorRT加速Intel CPU使用OpenVINO优化5. 局限性与未来方向当前WeDetect仍存在一些挑战细粒度属性识别对斑马纹的沙发等复杂描述准确率较低约65%长尾分布在专业领域如医疗设备表现有待提升视频理解时序一致性保持需要额外优化我们在后续版本中计划引入动态分辨率机制集成扩散模型进行视觉-语言联合推理开发移动端优化版本检索式识别范式为开放词汇检测提供了新的技术路径其高效、灵活的特性特别适合需要实时处理海量数据的应用场景。WeDetect代码库已开源包含预训练模型和详细文档欢迎社区共同推进这一方向的发展。
