Lingbot-Depth-Pretrain-ViTL-14模型转换与部署.NET平台集成方案最近在做一个工业质检相关的项目需要实时分析产品图像的深度信息来判断装配是否正确。团队之前用Python跑模型效果不错但客户的生产线环境要求必须集成到现有的C#桌面应用里。这就遇到了一个典型问题怎么把那个好用的Lingbot-Depth-Pretrain-ViTL-14模型从Python的研究环境搬到.NET的生产环境里去经过一番折腾我们摸索出了一套从模型转换到.NET集成的完整方案。整个过程不算复杂但有些坑需要注意。今天就把我们的实践过程分享出来如果你也在做类似的事情希望能帮你少走点弯路。1. 为什么要在.NET里跑深度估计模型你可能会有疑问Python的生态不是更丰富吗为什么非要折腾到.NET里这背后有几个很实际的原因。首先很多企业的核心业务系统特别是那些历史比较久的工业软件、桌面应用或者服务端程序都是用C#写的。重写整个系统成本太高最经济的办法就是在现有系统里集成AI能力。其次.NET应用在Windows服务器和桌面端的部署和管理相对成熟稳定运维团队也更熟悉。最后对于一些实时性要求高的场景比如我们做的在线质检在应用内部直接调用模型省去了进程间通信的开销延迟会更低。Lingbot-Depth-Pretrain-ViTL-14这个模型在单目深度估计任务上表现挺扎实的。它基于Vision Transformer架构在多个数据集上预训练过对于从一张普通RGB图片中估算出每个像素的深度信息也就是距离摄像头的远近这件事做得又快又准。把它集成到.NET应用里就能让那些传统的“视觉盲”软件瞬间获得感知场景三维结构的能力。2. 第一步把PyTorch模型“翻译”成ONNX模型转换是第一步也是最关键的一步。我们的目标是把训练好的PyTorch模型通常是.pth或.pt文件转换成一种通用的中间格式——ONNX。你可以把ONNX想象成模型的“通用翻译件”有了它模型就能在各种不同的运行环境比如.NET的ONNX Runtime里被执行。2.1 转换前的准备工作转换不是简单地跑个命令就行得先确保Python环境里的模型能正确加载和运行。我们一般会准备一个简单的验证脚本。import torch from transformers import ViTModel # 这里需要根据Lingbot模型的实际实现导入 import numpy as np # 1. 加载原始模型和权重 # 假设你的模型类定义在 my_model.py 中 from my_model import LingbotDepthModel model LingbotDepthModel.from_pretrained(your_model_path) model.eval() # 非常重要切换到评估模式 # 2. 准备一个模拟输入 # 模型的输入尺寸需要根据Lingbot-Depth-Pretrain-ViTL-14的具体要求来 # 通常是 [批次大小, 通道数, 高度, 宽度] dummy_input torch.randn(1, 3, 224, 224) # 示例尺寸请替换为实际尺寸 # 3. 用原始模型推理一次确保一切正常 with torch.no_grad(): original_output model(dummy_input) print(f原始模型输出形状: {original_output.shape})这段代码的作用是“验明正身”确保你手上的模型文件是好的并且你知道它的输入输出格式。记下这个dummy_input的形状后面转换和调用时都要用到。2.2 执行ONNX转换确认模型能跑通后就可以使用PyTorch自带的torch.onnx.export函数进行转换了。import torch.onnx # 定义输入输出的名称方便后续调用时识别 input_names [input_image] output_names [output_depth_map] # 指定导出的ONNX文件路径 onnx_model_path lingbot_depth_vitl14.onnx # 执行导出 torch.onnx.export( model, # 要转换的模型 dummy_input, # 模型输入示例用于追踪计算图 onnx_model_path, # 输出文件路径 input_namesinput_names, # 输入节点名 output_namesoutput_names, # 输出节点名 opset_version14, # ONNX算子集版本建议11以上兼容性更好 dynamic_axes{ # 定义动态维度批次、尺寸等可变的轴 input_image: {0: batch_size, 2: height, 3: width}, # 假设支持动态高宽 output_depth_map: {0: batch_size, 2: height, 3: width} }, verboseTrue # 打印转换详情方便调试 ) print(f模型已成功导出至: {onnx_model_path})这里有几个参数需要特别关注opset_version建议设置为11或更高它对许多现代神经网络算子支持更好。dynamic_axes这个非常有用。它告诉ONNX模型的批次大小batch_size、图像高度height和宽度width这些维度是可以变化的而不是固定死的。这样转换出来的模型灵活性更强可以处理不同尺寸的输入图片。当然前提是你的原始模型本身支持动态输入。转换完成后强烈建议用ONNX官方工具onnxruntime或者onnx库验证一下转换是否正确。import onnx import onnxruntime as ort import numpy as np # 检查模型格式是否有效 onnx_model onnx.load(onnx_model_path) onnx.checker.check_model(onnx_model) print(ONNX模型格式检查通过。) # 用ONNX Runtime进行推理测试与PyTorch结果对比 ort_session ort.InferenceSession(onnx_model_path, providers[CPUExecutionProvider]) # 先用CPU测试 ort_inputs {ort_session.get_inputs()[0].name: dummy_input.numpy()} ort_outputs ort_session.run(None, ort_inputs) # 简单对比输出由于计算精度差异可能不完全一致 print(fONNX Runtime输出形状: {ort_outputs[0].shape}) # 可以计算一下与PyTorch输出的差异通常在一个很小的可接受范围内3. 第二步在.NET项目中搭建推理环境模型转换好了接下来就是.NET这边的工作了。核心是使用ONNX Runtime的.NET版本。3.1 创建项目与安装包首先创建一个新的C#控制台应用、类库或者ASP.NET Core项目根据你的实际需求来。然后通过NuGet包管理器安装必要的库。最关键的是Microsoft.ML.OnnxRuntime包它是ONNX Runtime的官方.NET绑定。如果你希望使用GPU加速特别是英伟达的显卡可以安装Microsoft.ML.OnnxRuntime.Gpu。此外为了方便图像处理我们通常会安装SixLabors.ImageSharp这个强大的跨平台图像库。你可以在Visual Studio的包管理器控制台里输入Install-Package Microsoft.ML.OnnxRuntime Install-Package SixLabors.ImageSharp或者通过NuGet图形界面搜索安装。3.2 构建一个简单的推理类一个好的实践是把模型加载和推理的逻辑封装成一个独立的类。这样代码更清晰也便于复用。下面是一个基础的封装示例using System; using Microsoft.ML.OnnxRuntime; using Microsoft.ML.OnnxRuntime.Tensors; using SixLabors.ImageSharp; using SixLabors.ImageSharp.PixelFormats; using SixLabors.ImageSharp.Processing; namespace DepthEstimation.Inference { public class LingbotDepthPredictor : IDisposable { private readonly InferenceSession _session; private readonly int _inputHeight; private readonly int _inputWidth; /// summary /// 初始化深度估计预测器 /// /summary /// param namemodelPathONNX模型文件路径/param /// param nameinputHeight模型要求输入图像高度/param /// param nameinputWidth模型要求输入图像宽度/param /// param nameuseGpu是否使用GPU加速/param public LingbotDepthPredictor(string modelPath, int inputHeight 224, int inputWidth 224, bool useGpu false) { _inputHeight inputHeight; _inputWidth inputWidth; // 配置会话选项例如选择执行提供程序 var sessionOptions new SessionOptions(); if (useGpu) { // 尝试使用CUDA需要安装Microsoft.ML.OnnxRuntime.Gpu // sessionOptions.AppendExecutionProvider_CUDA(); // 或者使用DirectML适用于Windows DirectX 12兼容的GPU // sessionOptions.AppendExecutionProvider_DML(); // 具体使用哪个需要根据你的运行环境决定 Console.WriteLine(警告GPU支持需要额外配置当前使用CPU。); } // 默认使用CPU sessionOptions.AppendExecutionProvider_CPU(); _session new InferenceSession(modelPath, sessionOptions); Console.WriteLine($模型加载成功。输入名称: {_session.InputNames[0]}, 输出名称: {_session.OutputNames[0]}); } /// summary /// 预处理图像调整大小、归一化、转换为张量 /// /summary private DenseTensorfloat PreprocessImage(ImageRgb24 image) { // 1. 调整图像尺寸至模型要求 image.Mutate(x x.Resize(_inputWidth, _inputHeight)); // 2. 创建张量 [1, 3, H, W] (批次通道高宽) var tensor new DenseTensorfloat(new[] { 1, 3, _inputHeight, _inputWidth }); // 3. 填充数据并归一化 (此处归一化方式需与模型训练时一致) // 假设模型使用 mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225] 进行归一化 float[] mean { 0.485f, 0.456f, 0.406f }; float[] std { 0.229f, 0.224f, 0.225f }; image.ProcessPixelRows(accessor { for (int y 0; y accessor.Height; y) { SpanRgb24 pixelRow accessor.GetRowSpan(y); for (int x 0; x pixelRow.Length; x) { // 获取像素值并归一化到[0,1] float r pixelRow[x].R / 255.0f; float g pixelRow[x].G / 255.0f; float b pixelRow[x].B / 255.0f; // 应用标准化 (value - mean) / std tensor[0, 0, y, x] (r - mean[0]) / std[0]; // R通道 tensor[0, 1, y, x] (g - mean[1]) / std[1]; // G通道 tensor[0, 2, y, x] (b - mean[2]) / std[2]; // B通道 } } }); return tensor; } /// summary /// 对单张图像进行深度估计 /// /summary /// param nameimagePath输入图像路径/param /// returns深度图数据浮点数组/returns public float[] PredictDepth(string imagePath) { // 加载图像 using var image Image.LoadRgb24(imagePath); // 预处理 var inputTensor PreprocessImage(image); // 准备输入名称需与导出时定义的input_names一致 var inputs new ListNamedOnnxValue { NamedOnnxValue.CreateFromTensor(input_image, inputTensor) }; // 运行推理 using var results _session.Run(inputs); // 获取输出名称需与导出时定义的output_names一致 var outputTensor results.First().AsTensorfloat(); var depthMap outputTensor.ToArray(); Console.WriteLine($推理完成。深度图大小: {depthMap.Length} 个元素); return depthMap; } /// summary /// 对单张图像进行深度估计使用Image对象重载 /// /summary public float[] PredictDepth(ImageRgb24 image) { var inputTensor PreprocessImage(image); var inputs new ListNamedOnnxValue { NamedOnnxValue.CreateFromTensor(input_image, inputTensor) }; using var results _session.Run(inputs); return results.First().AsTensorfloat().ToArray(); } public void Dispose() { _session?.Dispose(); } } }这个类做了几件核心事情初始化加载ONNX模型文件创建推理会话。你可以在这里配置是用CPU还是GPU。预处理把普通的ImageSharp图像按照模型训练时约定的方式进行缩放、归一化并转换成模型需要的张量格式通常是[N, C, H, W]。这里的归一化参数mean和std必须和模型训练时完全一致否则效果会大打折扣。推理把预处理好的张量喂给模型得到输出的深度图数据。释放资源实现了IDisposable接口确保推理会话被正确关闭。4. 第三步在应用中调用与结果处理封装好类之后在应用里使用就非常简单了。下面是一个控制台应用的示例using DepthEstimation.Inference; using SixLabors.ImageSharp; using SixLabors.ImageSharp.PixelFormats; using SixLabors.ImageSharp.Processing; class Program { static void Main(string[] args) { string modelPath path\to\your\lingbot_depth_vitl14.onnx; string testImagePath path\to\test_image.jpg; // 1. 创建预测器 using var predictor new LingbotDepthPredictor(modelPath, inputHeight: 224, inputWidth: 224); // 2. 进行预测 float[] depthData predictor.PredictDepth(testImagePath); // 3. 后处理与可视化示例将深度数据归一化并保存为灰度图 VisualizeDepthMap(depthData, 224, 224, path\to\output_depth.png); Console.WriteLine(深度估计完成结果已保存。); } static void VisualizeDepthMap(float[] depthData, int height, int width, string outputPath) { // 找到深度值的范围用于归一化到[0, 255] float minDepth depthData.Min(); float maxDepth depthData.Max(); float range maxDepth - minDepth; if (range 0) range 1; // 防止除零 // 创建灰度图像 using var depthImage new ImageL8(width, height); depthImage.ProcessPixelRows(accessor { for (int y 0; y height; y) { SpanL8 pixelRow accessor.GetRowSpan(y); for (int x 0; x width; x) { int index y * width x; // 归一化并映射到灰度值 float normalizedValue (depthData[index] - minDepth) / range; byte intensity (byte)(normalizedValue * 255); pixelRow[x] new L8(intensity); } } }); depthImage.Save(outputPath); Console.WriteLine($深度可视化图已保存至: {outputPath}); } }后处理部分VisualizeDepthMap只是一个最简单的示例它把深度值归一化后转成了灰度图。在实际项目中深度数据的用法五花八门三维点云生成结合相机内参可以将深度图转换成三维点云。物体尺寸测量在已知场景中某个参考物体真实尺寸的情况下可以估算其他物体的尺寸。场景分割与理解深度信息可以作为RGB图像之外的一个重要通道输入给其他模型提升场景理解的精度。增强现实AR估算出场景的几何结构方便虚拟物体与真实世界的遮挡和交互。5. 部署实践与性能考量把代码跑通只是第一步要真正用到生产环境还得考虑部署和性能。部署方式桌面应用集成这是最直接的方式。将模型文件.onnx作为资源嵌入到安装包中或者放在应用目录下。我们的质检软件就是采用这种方式模型随软件一起分发。本地服务可以创建一个ASP.NET Core Web API项目将模型推理封装成HTTP接口。这样多个客户端应用包括非.NET应用都可以通过网络调用这个深度估计服务。这种方式更解耦也方便单独升级模型服务。需要注意ONNX模型文件可能比较大几百MB在部署时要考虑磁盘空间和加载时间。首次加载模型创建InferenceSession会有一些延迟。性能优化会话复用InferenceSession的创建成本较高。一定要在应用生命周期内复用同一个会话而不是每次推理都新建。我们上面封装的类就是以单例或长生命周期对象的方式使用的。批处理如果模型支持动态批次我们在转换时通过dynamic_axes设置了并且你的应用场景需要处理大量图片可以考虑使用批处理。一次性传入多张图片的张量[N, C, H, W]效率远高于循环单张处理。异步调用对于Web服务或GUI应用将耗时的推理操作放在后台线程或使用异步方法避免阻塞主线程导致界面卡顿。硬件加速如果服务器或客户端有性能较强的NVIDIA GPU务必配置使用Microsoft.ML.OnnxRuntime.Gpu并启用CUDA执行提供程序推理速度会有数量级的提升。Windows平台也可以考虑DirectML。可能遇到的坑输入输出名称不匹配转换时设置的input_names和output_names必须与.NET中NamedOnnxValue.CreateFromTensor和获取结果时使用的名称严格一致。最好在初始化时打印出来核对一下。预处理不一致这是效果不好的最常见原因。.NET端的图像缩放算法如双线性插值、颜色通道顺序RGB vs BGR、归一化参数mean, std必须与模型训练时Python端的预处理流程完全一致。动态尺寸问题如果转换时未设置dynamic_axes或者模型本身不支持那么在.NET端输入的图像尺寸必须固定。如果遇到尺寸不匹配的错误需要检查这一点。6. 总结回过头来看把Lingbot-Depth这样的AI模型集成到.NET应用里并没有想象中那么复杂。关键路径就三条一是用ONNX做好模型格式的“翻译”二是在.NET里用ONNX Runtime搭建好推理环境并仔细处理数据预处理三是根据你的应用类型桌面或服务做好封装和部署。我们这套方案在工业质检项目上跑了大半年稳定性还不错。从Python原型到C#生产环境的过渡也比较平滑。当然每个模型和每个应用场景都有其特殊性你可能需要根据实际情况调整预处理、后处理或者性能优化的策略。但核心的转换和集成思路是相通的。如果你正准备做类似的事情建议先从一个小例子跑通整个流程然后再逐步应用到复杂的业务逻辑中去。遇到问题多对比Python和.NET两边的中间结果比如预处理后的张量值往往能快速定位问题所在。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
Lingbot-Depth-Pretrain-ViTL-14模型转换与部署：.NET平台集成方案
发布时间：2026/6/18 8:06:46
Lingbot-Depth-Pretrain-ViTL-14模型转换与部署.NET平台集成方案最近在做一个工业质检相关的项目需要实时分析产品图像的深度信息来判断装配是否正确。团队之前用Python跑模型效果不错但客户的生产线环境要求必须集成到现有的C#桌面应用里。这就遇到了一个典型问题怎么把那个好用的Lingbot-Depth-Pretrain-ViTL-14模型从Python的研究环境搬到.NET的生产环境里去经过一番折腾我们摸索出了一套从模型转换到.NET集成的完整方案。整个过程不算复杂但有些坑需要注意。今天就把我们的实践过程分享出来如果你也在做类似的事情希望能帮你少走点弯路。1. 为什么要在.NET里跑深度估计模型你可能会有疑问Python的生态不是更丰富吗为什么非要折腾到.NET里这背后有几个很实际的原因。首先很多企业的核心业务系统特别是那些历史比较久的工业软件、桌面应用或者服务端程序都是用C#写的。重写整个系统成本太高最经济的办法就是在现有系统里集成AI能力。其次.NET应用在Windows服务器和桌面端的部署和管理相对成熟稳定运维团队也更熟悉。最后对于一些实时性要求高的场景比如我们做的在线质检在应用内部直接调用模型省去了进程间通信的开销延迟会更低。Lingbot-Depth-Pretrain-ViTL-14这个模型在单目深度估计任务上表现挺扎实的。它基于Vision Transformer架构在多个数据集上预训练过对于从一张普通RGB图片中估算出每个像素的深度信息也就是距离摄像头的远近这件事做得又快又准。把它集成到.NET应用里就能让那些传统的“视觉盲”软件瞬间获得感知场景三维结构的能力。2. 第一步把PyTorch模型“翻译”成ONNX模型转换是第一步也是最关键的一步。我们的目标是把训练好的PyTorch模型通常是.pth或.pt文件转换成一种通用的中间格式——ONNX。你可以把ONNX想象成模型的“通用翻译件”有了它模型就能在各种不同的运行环境比如.NET的ONNX Runtime里被执行。2.1 转换前的准备工作转换不是简单地跑个命令就行得先确保Python环境里的模型能正确加载和运行。我们一般会准备一个简单的验证脚本。import torch from transformers import ViTModel # 这里需要根据Lingbot模型的实际实现导入 import numpy as np # 1. 加载原始模型和权重 # 假设你的模型类定义在 my_model.py 中 from my_model import LingbotDepthModel model LingbotDepthModel.from_pretrained(your_model_path) model.eval() # 非常重要切换到评估模式 # 2. 准备一个模拟输入 # 模型的输入尺寸需要根据Lingbot-Depth-Pretrain-ViTL-14的具体要求来 # 通常是 [批次大小, 通道数, 高度, 宽度] dummy_input torch.randn(1, 3, 224, 224) # 示例尺寸请替换为实际尺寸 # 3. 用原始模型推理一次确保一切正常 with torch.no_grad(): original_output model(dummy_input) print(f原始模型输出形状: {original_output.shape})这段代码的作用是“验明正身”确保你手上的模型文件是好的并且你知道它的输入输出格式。记下这个dummy_input的形状后面转换和调用时都要用到。2.2 执行ONNX转换确认模型能跑通后就可以使用PyTorch自带的torch.onnx.export函数进行转换了。import torch.onnx # 定义输入输出的名称方便后续调用时识别 input_names [input_image] output_names [output_depth_map] # 指定导出的ONNX文件路径 onnx_model_path lingbot_depth_vitl14.onnx # 执行导出 torch.onnx.export( model, # 要转换的模型 dummy_input, # 模型输入示例用于追踪计算图 onnx_model_path, # 输出文件路径 input_namesinput_names, # 输入节点名 output_namesoutput_names, # 输出节点名 opset_version14, # ONNX算子集版本建议11以上兼容性更好 dynamic_axes{ # 定义动态维度批次、尺寸等可变的轴 input_image: {0: batch_size, 2: height, 3: width}, # 假设支持动态高宽 output_depth_map: {0: batch_size, 2: height, 3: width} }, verboseTrue # 打印转换详情方便调试 ) print(f模型已成功导出至: {onnx_model_path})这里有几个参数需要特别关注opset_version建议设置为11或更高它对许多现代神经网络算子支持更好。dynamic_axes这个非常有用。它告诉ONNX模型的批次大小batch_size、图像高度height和宽度width这些维度是可以变化的而不是固定死的。这样转换出来的模型灵活性更强可以处理不同尺寸的输入图片。当然前提是你的原始模型本身支持动态输入。转换完成后强烈建议用ONNX官方工具onnxruntime或者onnx库验证一下转换是否正确。import onnx import onnxruntime as ort import numpy as np # 检查模型格式是否有效 onnx_model onnx.load(onnx_model_path) onnx.checker.check_model(onnx_model) print(ONNX模型格式检查通过。) # 用ONNX Runtime进行推理测试与PyTorch结果对比 ort_session ort.InferenceSession(onnx_model_path, providers[CPUExecutionProvider]) # 先用CPU测试 ort_inputs {ort_session.get_inputs()[0].name: dummy_input.numpy()} ort_outputs ort_session.run(None, ort_inputs) # 简单对比输出由于计算精度差异可能不完全一致 print(fONNX Runtime输出形状: {ort_outputs[0].shape}) # 可以计算一下与PyTorch输出的差异通常在一个很小的可接受范围内3. 第二步在.NET项目中搭建推理环境模型转换好了接下来就是.NET这边的工作了。核心是使用ONNX Runtime的.NET版本。3.1 创建项目与安装包首先创建一个新的C#控制台应用、类库或者ASP.NET Core项目根据你的实际需求来。然后通过NuGet包管理器安装必要的库。最关键的是Microsoft.ML.OnnxRuntime包它是ONNX Runtime的官方.NET绑定。如果你希望使用GPU加速特别是英伟达的显卡可以安装Microsoft.ML.OnnxRuntime.Gpu。此外为了方便图像处理我们通常会安装SixLabors.ImageSharp这个强大的跨平台图像库。你可以在Visual Studio的包管理器控制台里输入Install-Package Microsoft.ML.OnnxRuntime Install-Package SixLabors.ImageSharp或者通过NuGet图形界面搜索安装。3.2 构建一个简单的推理类一个好的实践是把模型加载和推理的逻辑封装成一个独立的类。这样代码更清晰也便于复用。下面是一个基础的封装示例using System; using Microsoft.ML.OnnxRuntime; using Microsoft.ML.OnnxRuntime.Tensors; using SixLabors.ImageSharp; using SixLabors.ImageSharp.PixelFormats; using SixLabors.ImageSharp.Processing; namespace DepthEstimation.Inference { public class LingbotDepthPredictor : IDisposable { private readonly InferenceSession _session; private readonly int _inputHeight; private readonly int _inputWidth; /// summary /// 初始化深度估计预测器 /// /summary /// param namemodelPathONNX模型文件路径/param /// param nameinputHeight模型要求输入图像高度/param /// param nameinputWidth模型要求输入图像宽度/param /// param nameuseGpu是否使用GPU加速/param public LingbotDepthPredictor(string modelPath, int inputHeight 224, int inputWidth 224, bool useGpu false) { _inputHeight inputHeight; _inputWidth inputWidth; // 配置会话选项例如选择执行提供程序 var sessionOptions new SessionOptions(); if (useGpu) { // 尝试使用CUDA需要安装Microsoft.ML.OnnxRuntime.Gpu // sessionOptions.AppendExecutionProvider_CUDA(); // 或者使用DirectML适用于Windows DirectX 12兼容的GPU // sessionOptions.AppendExecutionProvider_DML(); // 具体使用哪个需要根据你的运行环境决定 Console.WriteLine(警告GPU支持需要额外配置当前使用CPU。); } // 默认使用CPU sessionOptions.AppendExecutionProvider_CPU(); _session new InferenceSession(modelPath, sessionOptions); Console.WriteLine($模型加载成功。输入名称: {_session.InputNames[0]}, 输出名称: {_session.OutputNames[0]}); } /// summary /// 预处理图像调整大小、归一化、转换为张量 /// /summary private DenseTensorfloat PreprocessImage(ImageRgb24 image) { // 1. 调整图像尺寸至模型要求 image.Mutate(x x.Resize(_inputWidth, _inputHeight)); // 2. 创建张量 [1, 3, H, W] (批次通道高宽) var tensor new DenseTensorfloat(new[] { 1, 3, _inputHeight, _inputWidth }); // 3. 填充数据并归一化 (此处归一化方式需与模型训练时一致) // 假设模型使用 mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225] 进行归一化 float[] mean { 0.485f, 0.456f, 0.406f }; float[] std { 0.229f, 0.224f, 0.225f }; image.ProcessPixelRows(accessor { for (int y 0; y accessor.Height; y) { SpanRgb24 pixelRow accessor.GetRowSpan(y); for (int x 0; x pixelRow.Length; x) { // 获取像素值并归一化到[0,1] float r pixelRow[x].R / 255.0f; float g pixelRow[x].G / 255.0f; float b pixelRow[x].B / 255.0f; // 应用标准化 (value - mean) / std tensor[0, 0, y, x] (r - mean[0]) / std[0]; // R通道 tensor[0, 1, y, x] (g - mean[1]) / std[1]; // G通道 tensor[0, 2, y, x] (b - mean[2]) / std[2]; // B通道 } } }); return tensor; } /// summary /// 对单张图像进行深度估计 /// /summary /// param nameimagePath输入图像路径/param /// returns深度图数据浮点数组/returns public float[] PredictDepth(string imagePath) { // 加载图像 using var image Image.LoadRgb24(imagePath); // 预处理 var inputTensor PreprocessImage(image); // 准备输入名称需与导出时定义的input_names一致 var inputs new ListNamedOnnxValue { NamedOnnxValue.CreateFromTensor(input_image, inputTensor) }; // 运行推理 using var results _session.Run(inputs); // 获取输出名称需与导出时定义的output_names一致 var outputTensor results.First().AsTensorfloat(); var depthMap outputTensor.ToArray(); Console.WriteLine($推理完成。深度图大小: {depthMap.Length} 个元素); return depthMap; } /// summary /// 对单张图像进行深度估计使用Image对象重载 /// /summary public float[] PredictDepth(ImageRgb24 image) { var inputTensor PreprocessImage(image); var inputs new ListNamedOnnxValue { NamedOnnxValue.CreateFromTensor(input_image, inputTensor) }; using var results _session.Run(inputs); return results.First().AsTensorfloat().ToArray(); } public void Dispose() { _session?.Dispose(); } } }这个类做了几件核心事情初始化加载ONNX模型文件创建推理会话。你可以在这里配置是用CPU还是GPU。预处理把普通的ImageSharp图像按照模型训练时约定的方式进行缩放、归一化并转换成模型需要的张量格式通常是[N, C, H, W]。这里的归一化参数mean和std必须和模型训练时完全一致否则效果会大打折扣。推理把预处理好的张量喂给模型得到输出的深度图数据。释放资源实现了IDisposable接口确保推理会话被正确关闭。4. 第三步在应用中调用与结果处理封装好类之后在应用里使用就非常简单了。下面是一个控制台应用的示例using DepthEstimation.Inference; using SixLabors.ImageSharp; using SixLabors.ImageSharp.PixelFormats; using SixLabors.ImageSharp.Processing; class Program { static void Main(string[] args) { string modelPath path\to\your\lingbot_depth_vitl14.onnx; string testImagePath path\to\test_image.jpg; // 1. 创建预测器 using var predictor new LingbotDepthPredictor(modelPath, inputHeight: 224, inputWidth: 224); // 2. 进行预测 float[] depthData predictor.PredictDepth(testImagePath); // 3. 后处理与可视化示例将深度数据归一化并保存为灰度图 VisualizeDepthMap(depthData, 224, 224, path\to\output_depth.png); Console.WriteLine(深度估计完成结果已保存。); } static void VisualizeDepthMap(float[] depthData, int height, int width, string outputPath) { // 找到深度值的范围用于归一化到[0, 255] float minDepth depthData.Min(); float maxDepth depthData.Max(); float range maxDepth - minDepth; if (range 0) range 1; // 防止除零 // 创建灰度图像 using var depthImage new ImageL8(width, height); depthImage.ProcessPixelRows(accessor { for (int y 0; y height; y) { SpanL8 pixelRow accessor.GetRowSpan(y); for (int x 0; x width; x) { int index y * width x; // 归一化并映射到灰度值 float normalizedValue (depthData[index] - minDepth) / range; byte intensity (byte)(normalizedValue * 255); pixelRow[x] new L8(intensity); } } }); depthImage.Save(outputPath); Console.WriteLine($深度可视化图已保存至: {outputPath}); } }后处理部分VisualizeDepthMap只是一个最简单的示例它把深度值归一化后转成了灰度图。在实际项目中深度数据的用法五花八门三维点云生成结合相机内参可以将深度图转换成三维点云。物体尺寸测量在已知场景中某个参考物体真实尺寸的情况下可以估算其他物体的尺寸。场景分割与理解深度信息可以作为RGB图像之外的一个重要通道输入给其他模型提升场景理解的精度。增强现实AR估算出场景的几何结构方便虚拟物体与真实世界的遮挡和交互。5. 部署实践与性能考量把代码跑通只是第一步要真正用到生产环境还得考虑部署和性能。部署方式桌面应用集成这是最直接的方式。将模型文件.onnx作为资源嵌入到安装包中或者放在应用目录下。我们的质检软件就是采用这种方式模型随软件一起分发。本地服务可以创建一个ASP.NET Core Web API项目将模型推理封装成HTTP接口。这样多个客户端应用包括非.NET应用都可以通过网络调用这个深度估计服务。这种方式更解耦也方便单独升级模型服务。需要注意ONNX模型文件可能比较大几百MB在部署时要考虑磁盘空间和加载时间。首次加载模型创建InferenceSession会有一些延迟。性能优化会话复用InferenceSession的创建成本较高。一定要在应用生命周期内复用同一个会话而不是每次推理都新建。我们上面封装的类就是以单例或长生命周期对象的方式使用的。批处理如果模型支持动态批次我们在转换时通过dynamic_axes设置了并且你的应用场景需要处理大量图片可以考虑使用批处理。一次性传入多张图片的张量[N, C, H, W]效率远高于循环单张处理。异步调用对于Web服务或GUI应用将耗时的推理操作放在后台线程或使用异步方法避免阻塞主线程导致界面卡顿。硬件加速如果服务器或客户端有性能较强的NVIDIA GPU务必配置使用Microsoft.ML.OnnxRuntime.Gpu并启用CUDA执行提供程序推理速度会有数量级的提升。Windows平台也可以考虑DirectML。可能遇到的坑输入输出名称不匹配转换时设置的input_names和output_names必须与.NET中NamedOnnxValue.CreateFromTensor和获取结果时使用的名称严格一致。最好在初始化时打印出来核对一下。预处理不一致这是效果不好的最常见原因。.NET端的图像缩放算法如双线性插值、颜色通道顺序RGB vs BGR、归一化参数mean, std必须与模型训练时Python端的预处理流程完全一致。动态尺寸问题如果转换时未设置dynamic_axes或者模型本身不支持那么在.NET端输入的图像尺寸必须固定。如果遇到尺寸不匹配的错误需要检查这一点。6. 总结回过头来看把Lingbot-Depth这样的AI模型集成到.NET应用里并没有想象中那么复杂。关键路径就三条一是用ONNX做好模型格式的“翻译”二是在.NET里用ONNX Runtime搭建好推理环境并仔细处理数据预处理三是根据你的应用类型桌面或服务做好封装和部署。我们这套方案在工业质检项目上跑了大半年稳定性还不错。从Python原型到C#生产环境的过渡也比较平滑。当然每个模型和每个应用场景都有其特殊性你可能需要根据实际情况调整预处理、后处理或者性能优化的策略。但核心的转换和集成思路是相通的。如果你正准备做类似的事情建议先从一个小例子跑通整个流程然后再逐步应用到复杂的业务逻辑中去。遇到问题多对比Python和.NET两边的中间结果比如预处理后的张量值往往能快速定位问题所在。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
