Alpamayo-R1-10B实战教程批量处理脚本test_inference.py调用方法详解1. 引言如果你已经体验过Alpamayo-R1-10B的WebUI界面可能会发现一个问题每次只能处理一组图像和指令效率实在太低了。想象一下如果你有几百甚至上千个自动驾驶场景需要分析难道要一个个手动上传、点击、等待吗这显然不现实。今天我要分享的就是解决这个痛点的关键方法——使用test_inference.py脚本进行批量处理。这个脚本是官方提供的核心推理工具藏在项目的alpamayo/src/alpamayo_r1/目录里很多人可能都没注意到它的存在。简单来说这个脚本能让你一次性处理成百上千个驾驶场景自动化整个推理流程解放双手把结果保存成结构化数据方便后续分析集成到自己的数据处理管道中无论你是自动驾驶研究员、算法工程师还是想要大规模测试模型性能的开发者掌握这个脚本的使用方法都能让你的工作效率提升好几个档次。接下来我就带你一步步深入了解这个强大的工具。2. 脚本定位与环境准备2.1 找到脚本位置首先你需要知道脚本在哪里。根据提供的项目结构test_inference.py位于/root/Alpamayo-R1-10B/alpamayo/src/alpamayo_r1/test_inference.py如果你是通过CSDN星图镜像部署的这个路径是固定的。你可以用下面的命令确认一下ls -la /root/Alpamayo-R1-10B/alpamayo/src/alpamayo_r1/test_inference.py如果看到文件存在说明脚本就在那里等着你使用。2.2 理解脚本的作用这个脚本不是WebUI的替代品而是它的自动化版本。WebUI适合交互式使用和演示而test_inference.py适合批量处理和集成开发。它直接调用模型的核心推理引擎跳过了Web界面的所有中间环节效率更高也更灵活。2.3 环境确认在运行脚本之前确保你的环境已经正确设置模型已经加载脚本需要访问已经加载到GPU的模型。如果你刚刚重启了服务可能需要先通过WebUI加载一次模型或者确保相关服务正在运行。Python环境正确脚本运行在项目的Conda环境中。你可以这样激活环境cd /root/Alpamayo-R1-10B source env.shenv.sh脚本会自动设置Python路径和环境变量。如果你看到类似下面的输出说明环境设置正确# 激活环境后的提示 Alpamayo-R1 environment activated Python path: /root/miniconda3/envs/alpamayo/bin/pythonGPU资源可用确保有足够的GPU显存。批量处理虽然高效但也会占用更多资源。建议在处理大量数据时监控GPU使用情况# 在另一个终端窗口运行实时监控GPU watch -n 1 nvidia-smi3. 脚本参数详解test_inference.py脚本提供了多个参数来控制推理过程。理解这些参数是高效使用脚本的关键。让我们一个个来看3.1 核心输入参数这些参数决定了脚本处理什么数据--image_paths这是最重要的参数指定输入图像的路径。脚本支持多种格式单个图像文件--image_paths front.jpg多个图像文件--image_paths front.jpg left.jpg right.jpg包含图像的目录--image_paths /path/to/images/对于自动驾驶场景通常需要提供前视、左侧、右侧三个摄像头的图像。脚本会按照你提供的顺序处理它们。--prompt驾驶指令文本。和WebUI中的输入框一样这里指定模型应该执行什么操作。例如--prompt Navigate through the intersection safely--prompt Turn left at the next crossing--prompt Follow the vehicle ahead while maintaining safe distance--output_dir输出目录。脚本会把所有结果保存到这里包括轨迹可视化图像推理过程的文本记录原始轨迹数据JSON格式3.2 模型控制参数这些参数影响模型的推理行为--model_path模型文件路径。在标准部署中这个参数通常不需要指定因为脚本会自动使用预配置的路径。但如果你有多个模型版本或者自定义的模型权重可以用这个参数指定。--device运行设备。默认是cuda:0也就是第一个GPU。如果你有多个GPU可以指定其他设备比如cuda:1。--precision计算精度。默认是bfloat16这是性能和精度的良好平衡。如果你的GPU不支持bfloat16可以尝试float16。3.3 采样与生成参数这些参数控制轨迹生成的过程--temperature采样温度默认0.6。这个值控制生成轨迹的随机性较低的值如0.2-0.5生成更确定、更保守的轨迹较高的值如0.8-1.2生成更多样、更有创意的轨迹对于自动驾驶这种安全关键的应用通常建议使用较低的温度值--top_p核采样概率默认0.98。这个参数和温度一起工作控制采样范围较低的值如0.8-0.9只考虑概率最高的选项结果更稳定较高的值如0.95-0.99考虑更多可能性结果更多样--num_samples采样数量默认1。对于每个输入模型可以生成多个可能的轨迹。如果你想要探索不同的驾驶策略可以增加这个值。3.4 输出控制参数--save_visualization是否保存可视化图像默认True。如果设置为False脚本只保存文本和JSON数据不生成轨迹图。--verbose详细输出模式默认False。如果设置为True脚本会打印更多的调试信息适合排查问题。4. 基础使用示例现在让我们看几个实际的使用例子从简单到复杂一步步掌握脚本的用法。4.1 最简单的单次推理假设你有一组三个摄像头图像想要测试模型的基本功能cd /root/Alpamayo-R1-10B source env.sh python alpamayo/src/alpamayo_r1/test_inference.py \ --image_paths /path/to/front.jpg /path/to/left.jpg /path/to/right.jpg \ --prompt Navigate through the intersection safely \ --output_dir ./results/single_test运行这个命令后脚本会加载模型如果还没加载读取三张输入图像执行推理生成轨迹在./results/single_test目录下保存结果检查输出目录你会看到类似这样的文件结构./results/single_test/ ├── inference_20250215_143022/ │ ├── trajectory_plot.png # 轨迹可视化图 │ ├── reasoning.txt # 推理过程文本 │ └── trajectory_data.json # 原始轨迹数据 └── summary.log # 处理摘要4.2 批量处理多个场景真正的威力在于批量处理。假设你有一个目录里面包含多个驾驶场景每个场景有三个摄像头图像/scenarios/ ├── scene_001/ │ ├── front.jpg │ ├── left.jpg │ └── right.jpg ├── scene_002/ │ ├── front.jpg │ ├── left.jpg │ └── right.jpg └── scene_003/ ├── front.jpg ├── left.jpg └── right.jpg你可以写一个简单的Shell脚本来处理所有场景#!/bin/bash cd /root/Alpamayo-R1-10B source env.sh SCENARIOS_DIR/path/to/scenarios OUTPUT_BASE./batch_results # 为每个场景创建独立的输出目录 for scene_dir in $SCENARIOS_DIR/*/; do scene_name$(basename $scene_dir) output_dir$OUTPUT_BASE/$scene_name echo 处理场景: $scene_name python alpamayo/src/alpamayo_r1/test_inference.py \ --image_paths $scene_dir/front.jpg $scene_dir/left.jpg $scene_dir/right.jpg \ --prompt Navigate through the intersection safely \ --output_dir $output_dir # 可选添加间隔避免GPU过热 sleep 2 done echo 批量处理完成结果保存在: $OUTPUT_BASE4.3 使用不同的驾驶指令在实际应用中你可能需要测试模型对不同指令的响应。可以创建一个指令列表文件# instructions.txt Navigate through the intersection safely Turn left at the intersection Merge into the right lane Follow the vehicle ahead Stop at the crosswalk然后修改批量处理脚本为每个场景测试所有指令#!/bin/bash cd /root/Alpamayo-R1-10B source env.sh SCENE_DIR/path/to/single_scenario INSTRUCTIONS_FILEinstructions.txt OUTPUT_BASE./instruction_tests instruction_index1 while IFS read -r instruction; do output_dir$OUTPUT_BASE/test_$instruction_index echo 测试指令 $instruction_index: $instruction python alpamayo/src/alpamayo_r1/test_inference.py \ --image_paths $SCENE_DIR/front.jpg $SCENE_DIR/left.jpg $SCENE_DIR/right.jpg \ --prompt $instruction \ --output_dir $output_dir instruction_index$((instruction_index 1)) sleep 1 done $INSTRUCTIONS_FILE5. 高级使用技巧掌握了基础用法后让我们看看一些更高级的技巧这些技巧能让你更好地控制和处理结果。5.1 调整生成参数探索不同轨迹有时候你可能想看看模型在不同参数下会生成什么样的轨迹。比如比较保守和激进的驾驶策略# 保守策略低温度低top-p python alpamayo/src/alpamayo_r1/test_inference.py \ --image_paths front.jpg left.jpg right.jpg \ --prompt Navigate through the intersection safely \ --temperature 0.3 \ --top_p 0.8 \ --output_dir ./results/conservative # 激进策略高温度高top-p python alpamayo/src/alpamayo_r1/test_inference.py \ --image_paths front.jpg left.jpg right.jpg \ --prompt Navigate through the intersection safely \ --temperature 0.9 \ --top_p 0.99 \ --output_dir ./results/aggressive5.2 生成多个候选轨迹对于关键场景你可能想看看模型能提出多少种不同的解决方案python alpamayo/src/alpamayo_r1/test_inference.py \ --image_paths front.jpg left.jpg right.jpg \ --prompt Navigate through the intersection safely \ --num_samples 5 \ --output_dir ./results/multiple_trajectories这会生成5个不同的轨迹每个都保存在独立的子目录中。你可以比较这些轨迹看看模型考虑了哪些不同的驾驶策略。5.3 解析和处理输出数据脚本生成的JSON文件包含了丰富的轨迹数据。你可以用Python脚本进一步分析这些数据import json import numpy as np import matplotlib.pyplot as plt # 加载轨迹数据 with open(./results/single_test/inference_xxx/trajectory_data.json, r) as f: data json.load(f) # 提取轨迹点 trajectory data[trajectory] # 形状: [64, 3] (时间步, xyz坐标) # 计算统计信息 x_coords trajectory[:, 0] y_coords trajectory[:, 1] z_coords trajectory[:, 2] print(f轨迹长度: {len(trajectory)} 个时间步) print(fX范围: {x_coords.min():.2f} 到 {x_coords.max():.2f}) print(fY范围: {y_coords.min():.2f} 到 {y_coords.max():.2f}) # 计算曲率简化版 def calculate_curvature(x, y): dx np.gradient(x) dy np.gradient(y) ddx np.gradient(dx) ddy np.gradient(dy) curvature np.abs(dx * ddy - dy * ddx) / (dx**2 dy**2)**1.5 return curvature curvature calculate_curvature(x_coords, y_coords) print(f平均曲率: {curvature.mean():.4f}) print(f最大曲率: {curvature.max():.4f}) # 可视化轨迹 plt.figure(figsize(10, 6)) plt.plot(x_coords, y_coords, b-, linewidth2, label轨迹) plt.scatter(x_coords[0], y_coords[0], colorgreen, s100, label起点) plt.scatter(x_coords[-1], y_coords[-1], colorred, s100, label终点) plt.xlabel(X坐标) plt.ylabel(Y坐标) plt.title(车辆轨迹分析) plt.legend() plt.grid(True) plt.axis(equal) plt.savefig(./trajectory_analysis.png, dpi150, bbox_inchestight) plt.show()5.4 集成到数据处理管道如果你有自己的数据处理流程可以把test_inference.py作为一个模块来调用import subprocess import json import os def run_alpamayo_inference(image_paths, prompt, output_dir, temperature0.6, top_p0.98): 调用Alpamayo-R1进行推理 参数: image_paths: 图像路径列表 [front, left, right] prompt: 驾驶指令 output_dir: 输出目录 temperature: 采样温度 top_p: 核采样概率 # 构建命令 cmd [ python, alpamayo/src/alpamayo_r1/test_inference.py, --image_paths, *image_paths, --prompt, prompt, --output_dir, output_dir, --temperature, str(temperature), --top_p, str(top_p) ] # 执行命令 print(f执行命令: { .join(cmd)}) result subprocess.run(cmd, capture_outputTrue, textTrue) if result.returncode ! 0: print(f推理失败: {result.stderr}) return None # 查找输出文件 output_files {} for root, dirs, files in os.walk(output_dir): for file in files: if file.endswith(.json): output_files[trajectory_data] os.path.join(root, file) elif file.endswith(.png): output_files[visualization] os.path.join(root, file) elif file.endswith(.txt): output_files[reasoning] os.path.join(root, file) return output_files # 使用示例 if __name__ __main__: # 你的图像数据 images [ /data/scenes/morning/front.jpg, /data/scenes/morning/left.jpg, /data/scenes/morning/right.jpg ] # 调用推理 results run_alpamayo_inference( image_pathsimages, promptTurn right at the next intersection, output_dir./inference_results, temperature0.5, top_p0.9 ) if results: print(f推理完成结果保存在: {results}) # 加载轨迹数据 with open(results[trajectory_data], r) as f: trajectory json.load(f) print(f生成的轨迹点数量: {len(trajectory[trajectory])})6. 性能优化与问题排查6.1 提高处理速度批量处理大量数据时性能很重要。这里有几个优化建议预热模型在开始批量处理前先运行一次简单的推理让模型完全加载到GPU# 预热模型 python alpamayo/src/alpamayo_r1/test_inference.py \ --image_paths dummy.jpg dummy.jpg dummy.jpg \ --prompt test \ --output_dir ./warmup \ --save_visualization false批量大小优化虽然脚本本身是单次推理但你可以用并行处理来加速。比如用GNU Parallel# 安装parallel如果还没安装 # apt-get install parallel # Ubuntu/Debian # yum install parallel # CentOS/RHEL # 并行处理多个场景 find /path/to/scenarios -type d -name scene_* | parallel -j 2 scene{} scene_name$(basename {}) python /root/Alpamayo-R1-10B/alpamayo/src/alpamayo_r1/test_inference.py \ --image_paths {}/front.jpg {}/left.jpg {}/right.jpg \ --prompt Navigate safely \ --output_dir ./parallel_results/$scene_name -j 2表示同时运行2个任务。根据你的GPU显存调整这个数字。减少IO开销如果图像在慢速存储上考虑先复制到SSD或内存盘# 创建内存盘需要root权限 mkdir /mnt/ramdisk mount -t tmpfs -o size10G tmpfs /mnt/ramdisk # 复制图像到内存盘 cp -r /path/to/scenarios /mnt/ramdisk/ # 从内存盘读取图像 python test_inference.py \ --image_paths /mnt/ramdisk/scenarios/scene_001/front.jpg \ ...6.2 常见问题与解决方案问题1GPU显存不足RuntimeError: CUDA out of memory解决方案减少并行任务数量确保没有其他程序占用GPU尝试重启服务释放显存supervisorctl restart alpamayo-webui sleep 10 # 等待显存释放问题2模型加载失败Error loading model: File not found解决方案检查模型文件是否存在ls -lh /root/ai-models/nv-community/Alpamayo-R1-10B/确保有读取权限尝试通过WebUI先加载一次模型问题3图像格式不支持Unsupported image format解决方案确保图像是常见格式JPEG、PNG检查图像是否损坏file front.jpg identify front.jpg # 需要安装imagemagick如有必要转换图像格式convert input.bmp output.jpg # BMP转JPEG问题4推理结果不一致解决方案设置固定的随机种子确保可重复性如果脚本支持检查输入图像顺序是否正确前、左、右确保每次使用相同的参数6.3 监控与日志为了更好地了解脚本的运行情况可以添加一些监控#!/bin/bash # monitor_inference.sh LOG_FILE./inference_monitor.log START_TIME$(date %s) echo 开始监控: $(date) | tee -a $LOG_FILE # 运行推理脚本 python alpamayo/src/alpamayo_r1/test_inference.py $ 21 | tee -a $LOG_FILE END_TIME$(date %s) DURATION$((END_TIME - START_TIME)) echo 推理完成耗时: ${DURATION}秒 | tee -a $LOG_FILE echo GPU使用情况: | tee -a $LOG_FILE nvidia-smi --query-gpuutilization.gpu,memory.used --formatcsv | tee -a $LOG_FILE # 检查输出文件 if [ -d $OUTPUT_DIR ]; then echo 输出文件统计: | tee -a $LOG_FILE find $OUTPUT_DIR -type f | wc -l | tee -a $LOG_FILE fi使用方式bash monitor_inference.sh \ --image_paths front.jpg left.jpg right.jpg \ --prompt Navigate safely \ --output_dir ./monitored_test7. 实际应用案例7.1 自动驾驶场景测试套件假设你正在开发一个自动驾驶系统需要测试模型在各种场景下的表现。你可以创建一个完整的测试套件# test_suite.py import os import json import pandas as pd from datetime import datetime class AlpamayoTestSuite: def __init__(self, scenarios_dir, output_base./test_results): self.scenarios_dir scenarios_dir self.output_base output_base self.results [] def run_scenario(self, scene_name, prompt, temperature0.6): 运行单个场景测试 scene_dir os.path.join(self.scenarios_dir, scene_name) output_dir os.path.join(self.output_base, scene_name, prompt.replace( , _)) # 确保输出目录存在 os.makedirs(output_dir, exist_okTrue) # 构建图像路径 image_paths [ os.path.join(scene_dir, front.jpg), os.path.join(scene_dir, left.jpg), os.path.join(scene_dir, right.jpg) ] # 检查图像是否存在 for img_path in image_paths: if not os.path.exists(img_path): print(f警告: 图像不存在 {img_path}) return None # 执行推理 cmd [ python, alpamayo/src/alpamayo_r1/test_inference.py, --image_paths, *image_paths, --prompt, prompt, --output_dir, output_dir, --temperature, str(temperature), --save_visualization, true ] import subprocess start_time datetime.now() result subprocess.run(cmd, capture_outputTrue, textTrue) end_time datetime.now() # 收集结果 test_result { scene: scene_name, prompt: prompt, temperature: temperature, start_time: start_time.isoformat(), end_time: end_time.isoformat(), duration: (end_time - start_time).total_seconds(), success: result.returncode 0, output_dir: output_dir } # 如果成功解析轨迹数据 if test_result[success]: # 查找轨迹数据文件 for root, dirs, files in os.walk(output_dir): for file in files: if file.endswith(.json): json_path os.path.join(root, file) try: with open(json_path, r) as f: trajectory_data json.load(f) test_result[trajectory_points] len(trajectory_data.get(trajectory, [])) except: test_result[trajectory_points] 0 self.results.append(test_result) return test_result def run_batch_tests(self, test_cases): 批量运行测试用例 all_results [] for scene_name, prompts in test_cases.items(): for prompt in prompts: print(f测试场景: {scene_name}, 指令: {prompt}) result self.run_scenario(scene_name, prompt) if result: all_results.append(result) # 保存汇总结果 self.save_summary(all_results) return all_results def save_summary(self, results): 保存测试摘要 summary_file os.path.join(self.output_base, test_summary.csv) # 转换为DataFrame df pd.DataFrame(results) # 计算统计信息 summary_stats { total_tests: len(df), successful_tests: df[success].sum(), success_rate: df[success].mean() * 100, avg_duration: df[duration].mean(), total_duration: df[duration].sum() } # 保存详细结果 df.to_csv(summary_file, indexFalse) # 保存统计信息 stats_file os.path.join(self.output_base, test_statistics.json) with open(stats_file, w) as f: json.dump(summary_stats, f, indent2) print(f测试完成) print(f总计测试: {summary_stats[total_tests]}) print(f成功: {summary_stats[successful_tests]} ({summary_stats[success_rate]:.1f}%)) print(f平均耗时: {summary_stats[avg_duration]:.2f}秒) print(f总耗时: {summary_stats[total_duration]:.2f}秒) print(f详细结果: {summary_file}) # 使用示例 if __name__ __main__: # 定义测试用例 test_cases { intersection_clear: [ Navigate through the intersection safely, Turn left at the intersection, Turn right at the intersection ], pedestrian_crossing: [ Stop at the crosswalk, Yield to pedestrians, Proceed with caution ], highway_merge: [ Merge into the left lane, Merge into the right lane, Maintain current lane ] } # 运行测试套件 test_suite AlpamayoTestSuite( scenarios_dir/path/to/test_scenarios, output_base./test_suite_results ) results test_suite.run_batch_tests(test_cases)7.2 模型性能基准测试如果你需要评估模型在不同硬件或配置下的性能#!/bin/bash # benchmark.sh echo Alpamayo-R1-10B 性能基准测试 echo echo # 测试不同批处理大小 echo 测试不同场景数量下的性能... for num_scenes in 1 5 10 20; do echo echo 测试 ${num_scenes} 个场景... START_TIME$(date %s.%N) # 运行多个推理任务 for i in $(seq 1 $num_scenes); do python alpamayo/src/alpamayo_r1/test_inference.py \ --image_paths test_front.jpg test_left.jpg test_right.jpg \ --prompt Test prompt $i \ --output_dir ./benchmark/scene_$i \ --save_visualization false \ /dev/null 21 done # 等待所有任务完成 wait END_TIME$(date %s.%N) DURATION$(echo $END_TIME - $START_TIME | bc) AVG_TIME$(echo $DURATION / $num_scenes | bc -l) echo 总耗时: ${DURATION:.2f}秒 echo 平均每个场景: ${AVG_TIME:.2f}秒 echo 吞吐量: $(echo $num_scenes / $DURATION | bc -l) 场景/秒 done # 测试不同参数下的性能 echo echo 测试不同温度参数下的性能... for temperature in 0.2 0.4 0.6 0.8 1.0; do echo echo 温度: $temperature START_TIME$(date %s.%N) python alpamayo/src/alpamayo_r1/test_inference.py \ --image_paths test_front.jpg test_left.jpg test_right.jpg \ --prompt Navigate safely \ --temperature $temperature \ --output_dir ./benchmark/temp_$temperature \ --save_visualization false \ /dev/null 21 END_TIME$(date %s.%N) DURATION$(echo $END_TIME - $START_TIME | bc) echo 推理耗时: ${DURATION:.2f}秒 done # 清理测试文件 rm -rf ./benchmark/ echo echo 基准测试完成8. 总结通过这篇教程你应该已经掌握了test_inference.py脚本的核心用法。让我们回顾一下关键要点核心价值这个脚本让你能够批量处理自动驾驶场景大幅提升工作效率它提供了比WebUI更灵活的控制选项适合集成到自己的开发流程中通过参数调整你可以探索模型在不同设置下的行为使用流程准备好输入图像前视、左侧、右侧摄像头定义驾驶指令和输出目录根据需要调整温度、top-p等参数运行脚本并检查输出结果解析生成的轨迹数据用于进一步分析最佳实践对于生产环境建议先在小规模数据上测试参数使用监控脚本来跟踪资源使用和性能定期检查输出质量确保模型行为符合预期建立标准化的测试套件便于回归测试下一步建议尝试将脚本集成到你的CI/CD流程中开发自定义的结果分析工具探索更多高级参数和配置选项考虑将批量处理与数据增强结合使用记住test_inference.py只是Alpamayo-R1-10B强大功能的冰山一角。随着你对模型理解的深入你会发现更多创新的应用方式。无论是学术研究还是工业应用掌握这个工具都能让你在自动驾驶视觉-语言-动作模型的使用上更上一层楼。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
Alpamayo-R1-10B实战教程：批量处理脚本test_inference.py调用方法详解
发布时间：2026/7/22 6:54:23
Alpamayo-R1-10B实战教程批量处理脚本test_inference.py调用方法详解1. 引言如果你已经体验过Alpamayo-R1-10B的WebUI界面可能会发现一个问题每次只能处理一组图像和指令效率实在太低了。想象一下如果你有几百甚至上千个自动驾驶场景需要分析难道要一个个手动上传、点击、等待吗这显然不现实。今天我要分享的就是解决这个痛点的关键方法——使用test_inference.py脚本进行批量处理。这个脚本是官方提供的核心推理工具藏在项目的alpamayo/src/alpamayo_r1/目录里很多人可能都没注意到它的存在。简单来说这个脚本能让你一次性处理成百上千个驾驶场景自动化整个推理流程解放双手把结果保存成结构化数据方便后续分析集成到自己的数据处理管道中无论你是自动驾驶研究员、算法工程师还是想要大规模测试模型性能的开发者掌握这个脚本的使用方法都能让你的工作效率提升好几个档次。接下来我就带你一步步深入了解这个强大的工具。2. 脚本定位与环境准备2.1 找到脚本位置首先你需要知道脚本在哪里。根据提供的项目结构test_inference.py位于/root/Alpamayo-R1-10B/alpamayo/src/alpamayo_r1/test_inference.py如果你是通过CSDN星图镜像部署的这个路径是固定的。你可以用下面的命令确认一下ls -la /root/Alpamayo-R1-10B/alpamayo/src/alpamayo_r1/test_inference.py如果看到文件存在说明脚本就在那里等着你使用。2.2 理解脚本的作用这个脚本不是WebUI的替代品而是它的自动化版本。WebUI适合交互式使用和演示而test_inference.py适合批量处理和集成开发。它直接调用模型的核心推理引擎跳过了Web界面的所有中间环节效率更高也更灵活。2.3 环境确认在运行脚本之前确保你的环境已经正确设置模型已经加载脚本需要访问已经加载到GPU的模型。如果你刚刚重启了服务可能需要先通过WebUI加载一次模型或者确保相关服务正在运行。Python环境正确脚本运行在项目的Conda环境中。你可以这样激活环境cd /root/Alpamayo-R1-10B source env.shenv.sh脚本会自动设置Python路径和环境变量。如果你看到类似下面的输出说明环境设置正确# 激活环境后的提示 Alpamayo-R1 environment activated Python path: /root/miniconda3/envs/alpamayo/bin/pythonGPU资源可用确保有足够的GPU显存。批量处理虽然高效但也会占用更多资源。建议在处理大量数据时监控GPU使用情况# 在另一个终端窗口运行实时监控GPU watch -n 1 nvidia-smi3. 脚本参数详解test_inference.py脚本提供了多个参数来控制推理过程。理解这些参数是高效使用脚本的关键。让我们一个个来看3.1 核心输入参数这些参数决定了脚本处理什么数据--image_paths这是最重要的参数指定输入图像的路径。脚本支持多种格式单个图像文件--image_paths front.jpg多个图像文件--image_paths front.jpg left.jpg right.jpg包含图像的目录--image_paths /path/to/images/对于自动驾驶场景通常需要提供前视、左侧、右侧三个摄像头的图像。脚本会按照你提供的顺序处理它们。--prompt驾驶指令文本。和WebUI中的输入框一样这里指定模型应该执行什么操作。例如--prompt Navigate through the intersection safely--prompt Turn left at the next crossing--prompt Follow the vehicle ahead while maintaining safe distance--output_dir输出目录。脚本会把所有结果保存到这里包括轨迹可视化图像推理过程的文本记录原始轨迹数据JSON格式3.2 模型控制参数这些参数影响模型的推理行为--model_path模型文件路径。在标准部署中这个参数通常不需要指定因为脚本会自动使用预配置的路径。但如果你有多个模型版本或者自定义的模型权重可以用这个参数指定。--device运行设备。默认是cuda:0也就是第一个GPU。如果你有多个GPU可以指定其他设备比如cuda:1。--precision计算精度。默认是bfloat16这是性能和精度的良好平衡。如果你的GPU不支持bfloat16可以尝试float16。3.3 采样与生成参数这些参数控制轨迹生成的过程--temperature采样温度默认0.6。这个值控制生成轨迹的随机性较低的值如0.2-0.5生成更确定、更保守的轨迹较高的值如0.8-1.2生成更多样、更有创意的轨迹对于自动驾驶这种安全关键的应用通常建议使用较低的温度值--top_p核采样概率默认0.98。这个参数和温度一起工作控制采样范围较低的值如0.8-0.9只考虑概率最高的选项结果更稳定较高的值如0.95-0.99考虑更多可能性结果更多样--num_samples采样数量默认1。对于每个输入模型可以生成多个可能的轨迹。如果你想要探索不同的驾驶策略可以增加这个值。3.4 输出控制参数--save_visualization是否保存可视化图像默认True。如果设置为False脚本只保存文本和JSON数据不生成轨迹图。--verbose详细输出模式默认False。如果设置为True脚本会打印更多的调试信息适合排查问题。4. 基础使用示例现在让我们看几个实际的使用例子从简单到复杂一步步掌握脚本的用法。4.1 最简单的单次推理假设你有一组三个摄像头图像想要测试模型的基本功能cd /root/Alpamayo-R1-10B source env.sh python alpamayo/src/alpamayo_r1/test_inference.py \ --image_paths /path/to/front.jpg /path/to/left.jpg /path/to/right.jpg \ --prompt Navigate through the intersection safely \ --output_dir ./results/single_test运行这个命令后脚本会加载模型如果还没加载读取三张输入图像执行推理生成轨迹在./results/single_test目录下保存结果检查输出目录你会看到类似这样的文件结构./results/single_test/ ├── inference_20250215_143022/ │ ├── trajectory_plot.png # 轨迹可视化图 │ ├── reasoning.txt # 推理过程文本 │ └── trajectory_data.json # 原始轨迹数据 └── summary.log # 处理摘要4.2 批量处理多个场景真正的威力在于批量处理。假设你有一个目录里面包含多个驾驶场景每个场景有三个摄像头图像/scenarios/ ├── scene_001/ │ ├── front.jpg │ ├── left.jpg │ └── right.jpg ├── scene_002/ │ ├── front.jpg │ ├── left.jpg │ └── right.jpg └── scene_003/ ├── front.jpg ├── left.jpg └── right.jpg你可以写一个简单的Shell脚本来处理所有场景#!/bin/bash cd /root/Alpamayo-R1-10B source env.sh SCENARIOS_DIR/path/to/scenarios OUTPUT_BASE./batch_results # 为每个场景创建独立的输出目录 for scene_dir in $SCENARIOS_DIR/*/; do scene_name$(basename $scene_dir) output_dir$OUTPUT_BASE/$scene_name echo 处理场景: $scene_name python alpamayo/src/alpamayo_r1/test_inference.py \ --image_paths $scene_dir/front.jpg $scene_dir/left.jpg $scene_dir/right.jpg \ --prompt Navigate through the intersection safely \ --output_dir $output_dir # 可选添加间隔避免GPU过热 sleep 2 done echo 批量处理完成结果保存在: $OUTPUT_BASE4.3 使用不同的驾驶指令在实际应用中你可能需要测试模型对不同指令的响应。可以创建一个指令列表文件# instructions.txt Navigate through the intersection safely Turn left at the intersection Merge into the right lane Follow the vehicle ahead Stop at the crosswalk然后修改批量处理脚本为每个场景测试所有指令#!/bin/bash cd /root/Alpamayo-R1-10B source env.sh SCENE_DIR/path/to/single_scenario INSTRUCTIONS_FILEinstructions.txt OUTPUT_BASE./instruction_tests instruction_index1 while IFS read -r instruction; do output_dir$OUTPUT_BASE/test_$instruction_index echo 测试指令 $instruction_index: $instruction python alpamayo/src/alpamayo_r1/test_inference.py \ --image_paths $SCENE_DIR/front.jpg $SCENE_DIR/left.jpg $SCENE_DIR/right.jpg \ --prompt $instruction \ --output_dir $output_dir instruction_index$((instruction_index 1)) sleep 1 done $INSTRUCTIONS_FILE5. 高级使用技巧掌握了基础用法后让我们看看一些更高级的技巧这些技巧能让你更好地控制和处理结果。5.1 调整生成参数探索不同轨迹有时候你可能想看看模型在不同参数下会生成什么样的轨迹。比如比较保守和激进的驾驶策略# 保守策略低温度低top-p python alpamayo/src/alpamayo_r1/test_inference.py \ --image_paths front.jpg left.jpg right.jpg \ --prompt Navigate through the intersection safely \ --temperature 0.3 \ --top_p 0.8 \ --output_dir ./results/conservative # 激进策略高温度高top-p python alpamayo/src/alpamayo_r1/test_inference.py \ --image_paths front.jpg left.jpg right.jpg \ --prompt Navigate through the intersection safely \ --temperature 0.9 \ --top_p 0.99 \ --output_dir ./results/aggressive5.2 生成多个候选轨迹对于关键场景你可能想看看模型能提出多少种不同的解决方案python alpamayo/src/alpamayo_r1/test_inference.py \ --image_paths front.jpg left.jpg right.jpg \ --prompt Navigate through the intersection safely \ --num_samples 5 \ --output_dir ./results/multiple_trajectories这会生成5个不同的轨迹每个都保存在独立的子目录中。你可以比较这些轨迹看看模型考虑了哪些不同的驾驶策略。5.3 解析和处理输出数据脚本生成的JSON文件包含了丰富的轨迹数据。你可以用Python脚本进一步分析这些数据import json import numpy as np import matplotlib.pyplot as plt # 加载轨迹数据 with open(./results/single_test/inference_xxx/trajectory_data.json, r) as f: data json.load(f) # 提取轨迹点 trajectory data[trajectory] # 形状: [64, 3] (时间步, xyz坐标) # 计算统计信息 x_coords trajectory[:, 0] y_coords trajectory[:, 1] z_coords trajectory[:, 2] print(f轨迹长度: {len(trajectory)} 个时间步) print(fX范围: {x_coords.min():.2f} 到 {x_coords.max():.2f}) print(fY范围: {y_coords.min():.2f} 到 {y_coords.max():.2f}) # 计算曲率简化版 def calculate_curvature(x, y): dx np.gradient(x) dy np.gradient(y) ddx np.gradient(dx) ddy np.gradient(dy) curvature np.abs(dx * ddy - dy * ddx) / (dx**2 dy**2)**1.5 return curvature curvature calculate_curvature(x_coords, y_coords) print(f平均曲率: {curvature.mean():.4f}) print(f最大曲率: {curvature.max():.4f}) # 可视化轨迹 plt.figure(figsize(10, 6)) plt.plot(x_coords, y_coords, b-, linewidth2, label轨迹) plt.scatter(x_coords[0], y_coords[0], colorgreen, s100, label起点) plt.scatter(x_coords[-1], y_coords[-1], colorred, s100, label终点) plt.xlabel(X坐标) plt.ylabel(Y坐标) plt.title(车辆轨迹分析) plt.legend() plt.grid(True) plt.axis(equal) plt.savefig(./trajectory_analysis.png, dpi150, bbox_inchestight) plt.show()5.4 集成到数据处理管道如果你有自己的数据处理流程可以把test_inference.py作为一个模块来调用import subprocess import json import os def run_alpamayo_inference(image_paths, prompt, output_dir, temperature0.6, top_p0.98): 调用Alpamayo-R1进行推理 参数: image_paths: 图像路径列表 [front, left, right] prompt: 驾驶指令 output_dir: 输出目录 temperature: 采样温度 top_p: 核采样概率 # 构建命令 cmd [ python, alpamayo/src/alpamayo_r1/test_inference.py, --image_paths, *image_paths, --prompt, prompt, --output_dir, output_dir, --temperature, str(temperature), --top_p, str(top_p) ] # 执行命令 print(f执行命令: { .join(cmd)}) result subprocess.run(cmd, capture_outputTrue, textTrue) if result.returncode ! 0: print(f推理失败: {result.stderr}) return None # 查找输出文件 output_files {} for root, dirs, files in os.walk(output_dir): for file in files: if file.endswith(.json): output_files[trajectory_data] os.path.join(root, file) elif file.endswith(.png): output_files[visualization] os.path.join(root, file) elif file.endswith(.txt): output_files[reasoning] os.path.join(root, file) return output_files # 使用示例 if __name__ __main__: # 你的图像数据 images [ /data/scenes/morning/front.jpg, /data/scenes/morning/left.jpg, /data/scenes/morning/right.jpg ] # 调用推理 results run_alpamayo_inference( image_pathsimages, promptTurn right at the next intersection, output_dir./inference_results, temperature0.5, top_p0.9 ) if results: print(f推理完成结果保存在: {results}) # 加载轨迹数据 with open(results[trajectory_data], r) as f: trajectory json.load(f) print(f生成的轨迹点数量: {len(trajectory[trajectory])})6. 性能优化与问题排查6.1 提高处理速度批量处理大量数据时性能很重要。这里有几个优化建议预热模型在开始批量处理前先运行一次简单的推理让模型完全加载到GPU# 预热模型 python alpamayo/src/alpamayo_r1/test_inference.py \ --image_paths dummy.jpg dummy.jpg dummy.jpg \ --prompt test \ --output_dir ./warmup \ --save_visualization false批量大小优化虽然脚本本身是单次推理但你可以用并行处理来加速。比如用GNU Parallel# 安装parallel如果还没安装 # apt-get install parallel # Ubuntu/Debian # yum install parallel # CentOS/RHEL # 并行处理多个场景 find /path/to/scenarios -type d -name scene_* | parallel -j 2 scene{} scene_name$(basename {}) python /root/Alpamayo-R1-10B/alpamayo/src/alpamayo_r1/test_inference.py \ --image_paths {}/front.jpg {}/left.jpg {}/right.jpg \ --prompt Navigate safely \ --output_dir ./parallel_results/$scene_name -j 2表示同时运行2个任务。根据你的GPU显存调整这个数字。减少IO开销如果图像在慢速存储上考虑先复制到SSD或内存盘# 创建内存盘需要root权限 mkdir /mnt/ramdisk mount -t tmpfs -o size10G tmpfs /mnt/ramdisk # 复制图像到内存盘 cp -r /path/to/scenarios /mnt/ramdisk/ # 从内存盘读取图像 python test_inference.py \ --image_paths /mnt/ramdisk/scenarios/scene_001/front.jpg \ ...6.2 常见问题与解决方案问题1GPU显存不足RuntimeError: CUDA out of memory解决方案减少并行任务数量确保没有其他程序占用GPU尝试重启服务释放显存supervisorctl restart alpamayo-webui sleep 10 # 等待显存释放问题2模型加载失败Error loading model: File not found解决方案检查模型文件是否存在ls -lh /root/ai-models/nv-community/Alpamayo-R1-10B/确保有读取权限尝试通过WebUI先加载一次模型问题3图像格式不支持Unsupported image format解决方案确保图像是常见格式JPEG、PNG检查图像是否损坏file front.jpg identify front.jpg # 需要安装imagemagick如有必要转换图像格式convert input.bmp output.jpg # BMP转JPEG问题4推理结果不一致解决方案设置固定的随机种子确保可重复性如果脚本支持检查输入图像顺序是否正确前、左、右确保每次使用相同的参数6.3 监控与日志为了更好地了解脚本的运行情况可以添加一些监控#!/bin/bash # monitor_inference.sh LOG_FILE./inference_monitor.log START_TIME$(date %s) echo 开始监控: $(date) | tee -a $LOG_FILE # 运行推理脚本 python alpamayo/src/alpamayo_r1/test_inference.py $ 21 | tee -a $LOG_FILE END_TIME$(date %s) DURATION$((END_TIME - START_TIME)) echo 推理完成耗时: ${DURATION}秒 | tee -a $LOG_FILE echo GPU使用情况: | tee -a $LOG_FILE nvidia-smi --query-gpuutilization.gpu,memory.used --formatcsv | tee -a $LOG_FILE # 检查输出文件 if [ -d $OUTPUT_DIR ]; then echo 输出文件统计: | tee -a $LOG_FILE find $OUTPUT_DIR -type f | wc -l | tee -a $LOG_FILE fi使用方式bash monitor_inference.sh \ --image_paths front.jpg left.jpg right.jpg \ --prompt Navigate safely \ --output_dir ./monitored_test7. 实际应用案例7.1 自动驾驶场景测试套件假设你正在开发一个自动驾驶系统需要测试模型在各种场景下的表现。你可以创建一个完整的测试套件# test_suite.py import os import json import pandas as pd from datetime import datetime class AlpamayoTestSuite: def __init__(self, scenarios_dir, output_base./test_results): self.scenarios_dir scenarios_dir self.output_base output_base self.results [] def run_scenario(self, scene_name, prompt, temperature0.6): 运行单个场景测试 scene_dir os.path.join(self.scenarios_dir, scene_name) output_dir os.path.join(self.output_base, scene_name, prompt.replace( , _)) # 确保输出目录存在 os.makedirs(output_dir, exist_okTrue) # 构建图像路径 image_paths [ os.path.join(scene_dir, front.jpg), os.path.join(scene_dir, left.jpg), os.path.join(scene_dir, right.jpg) ] # 检查图像是否存在 for img_path in image_paths: if not os.path.exists(img_path): print(f警告: 图像不存在 {img_path}) return None # 执行推理 cmd [ python, alpamayo/src/alpamayo_r1/test_inference.py, --image_paths, *image_paths, --prompt, prompt, --output_dir, output_dir, --temperature, str(temperature), --save_visualization, true ] import subprocess start_time datetime.now() result subprocess.run(cmd, capture_outputTrue, textTrue) end_time datetime.now() # 收集结果 test_result { scene: scene_name, prompt: prompt, temperature: temperature, start_time: start_time.isoformat(), end_time: end_time.isoformat(), duration: (end_time - start_time).total_seconds(), success: result.returncode 0, output_dir: output_dir } # 如果成功解析轨迹数据 if test_result[success]: # 查找轨迹数据文件 for root, dirs, files in os.walk(output_dir): for file in files: if file.endswith(.json): json_path os.path.join(root, file) try: with open(json_path, r) as f: trajectory_data json.load(f) test_result[trajectory_points] len(trajectory_data.get(trajectory, [])) except: test_result[trajectory_points] 0 self.results.append(test_result) return test_result def run_batch_tests(self, test_cases): 批量运行测试用例 all_results [] for scene_name, prompts in test_cases.items(): for prompt in prompts: print(f测试场景: {scene_name}, 指令: {prompt}) result self.run_scenario(scene_name, prompt) if result: all_results.append(result) # 保存汇总结果 self.save_summary(all_results) return all_results def save_summary(self, results): 保存测试摘要 summary_file os.path.join(self.output_base, test_summary.csv) # 转换为DataFrame df pd.DataFrame(results) # 计算统计信息 summary_stats { total_tests: len(df), successful_tests: df[success].sum(), success_rate: df[success].mean() * 100, avg_duration: df[duration].mean(), total_duration: df[duration].sum() } # 保存详细结果 df.to_csv(summary_file, indexFalse) # 保存统计信息 stats_file os.path.join(self.output_base, test_statistics.json) with open(stats_file, w) as f: json.dump(summary_stats, f, indent2) print(f测试完成) print(f总计测试: {summary_stats[total_tests]}) print(f成功: {summary_stats[successful_tests]} ({summary_stats[success_rate]:.1f}%)) print(f平均耗时: {summary_stats[avg_duration]:.2f}秒) print(f总耗时: {summary_stats[total_duration]:.2f}秒) print(f详细结果: {summary_file}) # 使用示例 if __name__ __main__: # 定义测试用例 test_cases { intersection_clear: [ Navigate through the intersection safely, Turn left at the intersection, Turn right at the intersection ], pedestrian_crossing: [ Stop at the crosswalk, Yield to pedestrians, Proceed with caution ], highway_merge: [ Merge into the left lane, Merge into the right lane, Maintain current lane ] } # 运行测试套件 test_suite AlpamayoTestSuite( scenarios_dir/path/to/test_scenarios, output_base./test_suite_results ) results test_suite.run_batch_tests(test_cases)7.2 模型性能基准测试如果你需要评估模型在不同硬件或配置下的性能#!/bin/bash # benchmark.sh echo Alpamayo-R1-10B 性能基准测试 echo echo # 测试不同批处理大小 echo 测试不同场景数量下的性能... for num_scenes in 1 5 10 20; do echo echo 测试 ${num_scenes} 个场景... START_TIME$(date %s.%N) # 运行多个推理任务 for i in $(seq 1 $num_scenes); do python alpamayo/src/alpamayo_r1/test_inference.py \ --image_paths test_front.jpg test_left.jpg test_right.jpg \ --prompt Test prompt $i \ --output_dir ./benchmark/scene_$i \ --save_visualization false \ /dev/null 21 done # 等待所有任务完成 wait END_TIME$(date %s.%N) DURATION$(echo $END_TIME - $START_TIME | bc) AVG_TIME$(echo $DURATION / $num_scenes | bc -l) echo 总耗时: ${DURATION:.2f}秒 echo 平均每个场景: ${AVG_TIME:.2f}秒 echo 吞吐量: $(echo $num_scenes / $DURATION | bc -l) 场景/秒 done # 测试不同参数下的性能 echo echo 测试不同温度参数下的性能... for temperature in 0.2 0.4 0.6 0.8 1.0; do echo echo 温度: $temperature START_TIME$(date %s.%N) python alpamayo/src/alpamayo_r1/test_inference.py \ --image_paths test_front.jpg test_left.jpg test_right.jpg \ --prompt Navigate safely \ --temperature $temperature \ --output_dir ./benchmark/temp_$temperature \ --save_visualization false \ /dev/null 21 END_TIME$(date %s.%N) DURATION$(echo $END_TIME - $START_TIME | bc) echo 推理耗时: ${DURATION:.2f}秒 done # 清理测试文件 rm -rf ./benchmark/ echo echo 基准测试完成8. 总结通过这篇教程你应该已经掌握了test_inference.py脚本的核心用法。让我们回顾一下关键要点核心价值这个脚本让你能够批量处理自动驾驶场景大幅提升工作效率它提供了比WebUI更灵活的控制选项适合集成到自己的开发流程中通过参数调整你可以探索模型在不同设置下的行为使用流程准备好输入图像前视、左侧、右侧摄像头定义驾驶指令和输出目录根据需要调整温度、top-p等参数运行脚本并检查输出结果解析生成的轨迹数据用于进一步分析最佳实践对于生产环境建议先在小规模数据上测试参数使用监控脚本来跟踪资源使用和性能定期检查输出质量确保模型行为符合预期建立标准化的测试套件便于回归测试下一步建议尝试将脚本集成到你的CI/CD流程中开发自定义的结果分析工具探索更多高级参数和配置选项考虑将批量处理与数据增强结合使用记住test_inference.py只是Alpamayo-R1-10B强大功能的冰山一角。随着你对模型理解的深入你会发现更多创新的应用方式。无论是学术研究还是工业应用掌握这个工具都能让你在自动驾驶视觉-语言-动作模型的使用上更上一层楼。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
