AMG vs AIS vs APGmicro-sam三种自动实例分割模式深度解析谁才是最强【免费下载链接】micro-samSegment Anything for Microscopy项目地址: https://gitcode.com/gh_mirrors/mi/micro-sammicro-sam是为显微图像设计的 Segment Anything 框架它的核心能力之一就是自动实例分割不需要人工逐一点选就能把整张显微图像里的细胞、细菌、神经元等对象自动切分出来。框架内置了AMG、AIS、APG 三种自动实例分割模式分别对应通用点提示、微调解码器、自动提示生成三种技术路线。本文帮你快速搞懂三者的原理差异、适用场景与使用方法并给出明确的选择建议。1分钟看懂三种模式的核心差异对比项AMG自动掩码生成AIS自动实例分割APG自动提示生成工作原理在图像上铺满点提示网格逐个生成掩码后用 NMS 合并微调的分割解码器直接预测前景、中心距离、边界距离再用分水岭watershed得到实例解码器预测出前景后自动推导点提示交回 SAM 预测器生成掩码再用 NMS 合并模型要求任何 SAM 模型都支持原版 SAM、micro-sam 各版本需要带分割解码器的 micro-sam 模型或微调模型需要带分割解码器的 micro-sam 模型或微调模型典型结果可用但对象易粘连/漏检好实例边界稳定最佳官方实验中与 CellPose-SAM 等第一梯队模型相当实现位置micro_sam/instance_segmentation.py中的AutomaticMaskGeneratorInstanceSegmentationWithDecoderAutomaticPromptGenerator 一句话记忆AMG 是盲猜AIS 是直接画答案APG 是先找坐标再让 SAM 精修。AMG通用入门模式开箱即用AMGAutomatic Mask Generation延续了原版 SAM 的思路在图像上按网格撒点默认每边 32 个点每个点作为提示让模型预测掩码再通过**非极大值抑制NMS**过滤重叠、合并成实例分割。✅优点不依赖任何微调解码器原版 SAM、micro-sam、以及你自己微调的模型都能跑支持大图的Tiled 分块版本TiledAutomaticMaskGenerator可以切块处理超大型显微图像。⚠️缺点点提示是盲打对细胞密集、形状复杂的显微数据容易出现粘连或重复掩码需要调pred_iou_thresh、stability_score_thresh等阈值参数反复试验。AIS微调解码器驱动的自动实例分割AISAutomatic Instance Segmentation是 micro-sam 团队提出的方案在 SAM 编码器之上接一个UNETR 分割解码器见 micro_sam/instance_segmentation.py 中的DecoderAdapter它一次性预测三张图前景概率哪些像素属于对象中心距离每个像素到对象中心的归一化距离边界距离每个像素到对象边界的归一化距离。然后基于距离图做分水岭分割直接得到实例标签。✅优点不需要成百上千个点提示速度稳定阈值参数如center_distance_threshold语义直观调参友好。⚠️缺点分水岭的分割边界完全来自解码器预测精度受解码器训练质量制约。注意当模型自带解码器时micro-sam 默认模式就是AIS源码常量DEFAULT_SEGMENTATION_MODE_WITH_DECODER ais且官方注释中提到未来版本计划把默认值升级为 APG。APG自动提示生成目前的最强方案APGAutomatic Prompt Generation是最新提出的模式详见 doc/apg.md它融合了前两者的优点先用分割解码器预测前景、中心距离、边界距离对预测结果做阈值 连通域分析自动推导出每个对象的中心点作为点提示把这些提示交给 SAM 预测器批量预测掩码可选用 box 提示再精修一轮用 NMS 合并掩码得到最终实例分割。✅优点掩码由 SAM 本体生成边界质量高官方实验表明APG 的综合实例分割效果优于 AMG 和 AIS与第一梯队的 CellPose-SAM 相当。⚠️前提同样需要带解码器的 micro-sam 模型比纯 AIS 多一步批量掩码预测计算量略大。对比实验的详细脚本存放在 scripts/apg_experiments/ 目录中。如何快速选择一张决策表你的情况推荐模式用的是原版 SAM 或其他实验室的模型无解码器AMG唯一选择使用 micro-sam 预训练/微调模型追求开箱即用AIS当前默认使用 micro-sam 模型追求最佳分割质量APG强烈推荐处理整幅病理 / 超大幅面图像任意模式的Tiled 分块版本传tile_shape即可上手实践一条命令切换三种模式命令行方式安装后直接运行 CLI用--mode参数在amg/ais/apg之间切换更多参数说明见 doc/cli_tools.md# 用 APG 模式对一张图像做自动实例分割 micro_sam.automatic_segmentation -i input.png -o output_segmentation.tif --mode apgPython 方式只需在get_predictor_and_segmenter里指定segmentation_mode参数完整示例见 examples/automatic_segmentation.py交互式教程见 notebooks/automatic_segmentation.ipynbfrom micro_sam.automatic_segmentation import get_predictor_and_segmenter, automatic_instance_segmentation predictor, segmenter get_predictor_and_segmenter( model_typevit_b_lm, segmentation_modeapg, # 可选 amg / ais / apg ) segmentation automatic_instance_segmentation(predictor, segmenter, input_pathinput.png)三种模式的完整入口在 micro_sam/automatic_segmentation.py 中还支持 3D 体数据与时间序列的自动分割和追踪。结论谁才是最强APG 是当前的综合最强它把解码器擅长找对象和SAM 擅长画边界结合起来在官方实验里全面优于 AMG 与 AIS。如果你的模型带分割解码器优先选 APG追求速度与稳定性可选AIS模型不带解码器时AMG依然是可靠的通用方案。下面的对比图展示了 micro-sam 在光显微左与电显微右数据上的自动实例分割效果微调后的 SAM 模型在各类细胞、组织与细菌图像上都能给出清晰、完整的实例分割结果。总之新手从 AMG 入门进阶用 AIS追求最佳精度直接上 APG——三种模式一套 API随时可以切换对比这也是 micro-sam 自动实例分割最灵活的地方。【免费下载链接】micro-samSegment Anything for Microscopy项目地址: https://gitcode.com/gh_mirrors/mi/micro-sam创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考