Slurm新手必看sacct命令的7个实用技巧附常用查询示例作为高性能计算HPC领域最流行的作业调度系统之一Slurm的强大功能背后是一系列需要掌握的命令行工具。对于刚接触Slurm的新手来说sacct命令就像是一把打开历史作业信息的钥匙但很多人往往只停留在最基本的用法上。本文将带你深入探索sacct的实用技巧解决你在日常工作中遇到的实际问题。1. 为什么需要掌握sacct命令在Slurm环境中sacct命令的重要性常常被低估。与squeue只能查看当前运行中的作业不同sacct可以查询历史作业的完整记录——包括已完成、失败或被取消的作业。这对于排查问题、资源使用分析和作业审计都至关重要。想象一下这些场景你的作业突然消失了是完成了还是失败了需要统计某个用户过去一周的CPU使用情况想找出为什么某些作业总是运行超时需要向导师或团队汇报项目资源使用情况sacct就是解决这些问题的瑞士军刀。下面我们将通过7个实用技巧帮你从新手快速进阶。2. 基础查询从零开始使用sacct2.1 最简单的查询方式直接输入sacct会显示过去24小时内所有与你的用户相关的作业sacct这个基础命令的输出通常包括JobID作业的唯一标识符JobName作业名称Partition使用的计算分区Account关联的账户AllocCPUS分配的CPU核心数State作业状态COMPLETED, FAILED等ExitCode退出代码注意默认时间范围是24小时这可能不是你需要的全部历史数据。2.2 理解作业状态代码看到State列的各种状态可能会让人困惑以下是常见状态及其含义状态代码含义常见原因COMPLETED作业成功完成正常结束FAILED作业失败代码错误、资源不足CANCELLED作业被取消用户手动取消或系统策略TIMEOUT作业超时超过时间限制NODE_FAIL节点故障硬件问题PENDING作业等待中资源不足或队列限制了解这些状态能帮助你快速判断作业情况而不用每次都去查看日志文件。3. 精准定位如何查找特定作业3.1 按作业ID查询当你需要查看某个特定作业的详细信息时可以使用-j选项sacct -j 123456其中123456是你要查询的作业ID。这个命令会显示该作业的所有相关信息包括作业步骤如果是一个多步骤作业开始和结束时间使用的计算节点内存和CPU使用情况3.2 按用户查询如果你是系统管理员或需要查看团队成员的作业情况-u选项非常有用sacct -u username将username替换为实际的用户名。这个命令会显示该用户的所有作业记录。提示可以结合-S和-E选项指定时间范围避免输出过多数据。4. 时间管理查询特定时间段的作业4.1 基本时间范围查询sacct默认只显示过去24小时的作业但通常我们需要查看更早的数据。使用-S开始时间和-E结束时间选项可以指定查询范围sacct -S 2023-01-01 -E 2023-01-07这个命令会显示2023年1月1日到1月7日之间的所有作业。时间格式非常灵活你可以使用完整日期YYYY-MM-DD日期加时间YYYY-MM-DD[THH:MM[:SS]]相对时间now,today,yesterday,now-1days4.2 查找三天前的失败作业结合时间范围和状态过滤可以轻松找到特定时间段内失败的作业sacct -S $(date -d 3 days ago %Y-%m-%d) -E yesterday -s FAILED这个命令会使用date -d 3 days ago %Y-%m-%d计算三天前的日期查询从三天前到昨天的所有失败作业5. 自定义输出只显示你需要的信息5.1 常用输出字段sacct默认的输出格式可能包含太多或太少的信息。使用--format选项可以完全自定义输出字段sacct --formatJobID,JobName,Partition,Account,AllocCPUS,State,Start,End,Elapsed,MaxRSS这个命令会显示JobID作业IDJobName作业名称Partition使用的分区Account账户名AllocCPUS分配的CPU核心数State作业状态Start开始时间End结束时间Elapsed运行时间MaxRSS最大内存使用量5.2 发现所有可用字段不知道有哪些字段可用运行以下命令查看完整列表sacct --helpformat这会显示所有可用的字段名称及其描述。一些有用的字段包括AveCPU平均CPU使用量ReqMem请求的内存NNodes使用的节点数NodeList具体的计算节点CPUTimeCPU时间核心×秒6. 高级技巧解决实际问题6.1 查找内存不足导致的失败作业内存问题是作业失败的常见原因。以下命令可以帮助你找出可能因内存不足而失败的作业sacct -s FAILED --formatJobID,JobName,ReqMem,MaxRSS,State,ExitCode然后可以检查ExitCode是否为137通常表示内存不足被系统终止MaxRSS是否接近或超过ReqMem6.2 统计CPU使用效率了解作业的CPU使用效率有助于优化资源请求sacct --formatJobID,JobName,AllocCPUS,ReqMem,AveCPU,CPUTime,Elapsed -S 2023-01-01 -E 2023-01-31通过比较AveCPU和AllocCPUS可以判断是否请求了过多CPU资源。7. 实用脚本自动化常见查询7.1 每日作业报告脚本创建一个简单的bash脚本自动生成每日作业报告#!/bin/bash # 获取昨天的日期 YESTERDAY$(date -d yesterday %Y-%m-%d) # 生成报告 echo 作业报告 - $YESTERDAY echo echo # 总作业数 echo 总作业数: sacct -S $YESTERDAY -E $YESTERDAY | grep -v batch\|extern | wc -l echo # 按状态分类 echo 按状态分类: sacct -S $YESTERDAY -E $YESTERDAY --formatState | sort | uniq -c echo # 资源使用top 5 echo CPU时间最长的5个作业: sacct -S $YESTERDAY -E $YESTERDAY --formatJobID,JobName,User,CPUTime,Elapsed -P | sort -nrk4 | head -n 6这个脚本会输出昨天的总作业数按状态分类的作业数量CPU时间最长的5个作业7.2 查找长时间挂起的作业长时间挂起的作业可能是资源配置有问题sacct -s PENDING --formatJobID,JobName,Partition,QOS,TimeLimit,Submit,Start -S $(date -d 1 week ago %Y-%m-%d) | awk $6!Unknown {print} | sort -k6这个命令会查找过去一周内所有挂起的作业排除Start时间为Unknown的作业这些是刚提交的按提交时间排序在实际使用Slurm系统的过程中我发现sacct命令的灵活运用可以节省大量时间。特别是在处理大规模作业时精确的查询条件能快速定位问题所在。记住sacct --help永远是你最好的朋友当不确定某个选项的用法时不要犹豫去查看帮助文档。 Slurm新手必看：sacct命令的7个实用技巧（附常用查询示例）
Slurm新手必看sacct命令的7个实用技巧附常用查询示例作为高性能计算HPC领域最流行的作业调度系统之一Slurm的强大功能背后是一系列需要掌握的命令行工具。对于刚接触Slurm的新手来说sacct命令就像是一把打开历史作业信息的钥匙但很多人往往只停留在最基本的用法上。本文将带你深入探索sacct的实用技巧解决你在日常工作中遇到的实际问题。1. 为什么需要掌握sacct命令在Slurm环境中sacct命令的重要性常常被低估。与squeue只能查看当前运行中的作业不同sacct可以查询历史作业的完整记录——包括已完成、失败或被取消的作业。这对于排查问题、资源使用分析和作业审计都至关重要。想象一下这些场景你的作业突然消失了是完成了还是失败了需要统计某个用户过去一周的CPU使用情况想找出为什么某些作业总是运行超时需要向导师或团队汇报项目资源使用情况sacct就是解决这些问题的瑞士军刀。下面我们将通过7个实用技巧帮你从新手快速进阶。2. 基础查询从零开始使用sacct2.1 最简单的查询方式直接输入sacct会显示过去24小时内所有与你的用户相关的作业sacct这个基础命令的输出通常包括JobID作业的唯一标识符JobName作业名称Partition使用的计算分区Account关联的账户AllocCPUS分配的CPU核心数State作业状态COMPLETED, FAILED等ExitCode退出代码注意默认时间范围是24小时这可能不是你需要的全部历史数据。2.2 理解作业状态代码看到State列的各种状态可能会让人困惑以下是常见状态及其含义状态代码含义常见原因COMPLETED作业成功完成正常结束FAILED作业失败代码错误、资源不足CANCELLED作业被取消用户手动取消或系统策略TIMEOUT作业超时超过时间限制NODE_FAIL节点故障硬件问题PENDING作业等待中资源不足或队列限制了解这些状态能帮助你快速判断作业情况而不用每次都去查看日志文件。3. 精准定位如何查找特定作业3.1 按作业ID查询当你需要查看某个特定作业的详细信息时可以使用-j选项sacct -j 123456其中123456是你要查询的作业ID。这个命令会显示该作业的所有相关信息包括作业步骤如果是一个多步骤作业开始和结束时间使用的计算节点内存和CPU使用情况3.2 按用户查询如果你是系统管理员或需要查看团队成员的作业情况-u选项非常有用sacct -u username将username替换为实际的用户名。这个命令会显示该用户的所有作业记录。提示可以结合-S和-E选项指定时间范围避免输出过多数据。4. 时间管理查询特定时间段的作业4.1 基本时间范围查询sacct默认只显示过去24小时的作业但通常我们需要查看更早的数据。使用-S开始时间和-E结束时间选项可以指定查询范围sacct -S 2023-01-01 -E 2023-01-07这个命令会显示2023年1月1日到1月7日之间的所有作业。时间格式非常灵活你可以使用完整日期YYYY-MM-DD日期加时间YYYY-MM-DD[THH:MM[:SS]]相对时间now,today,yesterday,now-1days4.2 查找三天前的失败作业结合时间范围和状态过滤可以轻松找到特定时间段内失败的作业sacct -S $(date -d 3 days ago %Y-%m-%d) -E yesterday -s FAILED这个命令会使用date -d 3 days ago %Y-%m-%d计算三天前的日期查询从三天前到昨天的所有失败作业5. 自定义输出只显示你需要的信息5.1 常用输出字段sacct默认的输出格式可能包含太多或太少的信息。使用--format选项可以完全自定义输出字段sacct --formatJobID,JobName,Partition,Account,AllocCPUS,State,Start,End,Elapsed,MaxRSS这个命令会显示JobID作业IDJobName作业名称Partition使用的分区Account账户名AllocCPUS分配的CPU核心数State作业状态Start开始时间End结束时间Elapsed运行时间MaxRSS最大内存使用量5.2 发现所有可用字段不知道有哪些字段可用运行以下命令查看完整列表sacct --helpformat这会显示所有可用的字段名称及其描述。一些有用的字段包括AveCPU平均CPU使用量ReqMem请求的内存NNodes使用的节点数NodeList具体的计算节点CPUTimeCPU时间核心×秒6. 高级技巧解决实际问题6.1 查找内存不足导致的失败作业内存问题是作业失败的常见原因。以下命令可以帮助你找出可能因内存不足而失败的作业sacct -s FAILED --formatJobID,JobName,ReqMem,MaxRSS,State,ExitCode然后可以检查ExitCode是否为137通常表示内存不足被系统终止MaxRSS是否接近或超过ReqMem6.2 统计CPU使用效率了解作业的CPU使用效率有助于优化资源请求sacct --formatJobID,JobName,AllocCPUS,ReqMem,AveCPU,CPUTime,Elapsed -S 2023-01-01 -E 2023-01-31通过比较AveCPU和AllocCPUS可以判断是否请求了过多CPU资源。7. 实用脚本自动化常见查询7.1 每日作业报告脚本创建一个简单的bash脚本自动生成每日作业报告#!/bin/bash # 获取昨天的日期 YESTERDAY$(date -d yesterday %Y-%m-%d) # 生成报告 echo 作业报告 - $YESTERDAY echo echo # 总作业数 echo 总作业数: sacct -S $YESTERDAY -E $YESTERDAY | grep -v batch\|extern | wc -l echo # 按状态分类 echo 按状态分类: sacct -S $YESTERDAY -E $YESTERDAY --formatState | sort | uniq -c echo # 资源使用top 5 echo CPU时间最长的5个作业: sacct -S $YESTERDAY -E $YESTERDAY --formatJobID,JobName,User,CPUTime,Elapsed -P | sort -nrk4 | head -n 6这个脚本会输出昨天的总作业数按状态分类的作业数量CPU时间最长的5个作业7.2 查找长时间挂起的作业长时间挂起的作业可能是资源配置有问题sacct -s PENDING --formatJobID,JobName,Partition,QOS,TimeLimit,Submit,Start -S $(date -d 1 week ago %Y-%m-%d) | awk $6!Unknown {print} | sort -k6这个命令会查找过去一周内所有挂起的作业排除Start时间为Unknown的作业这些是刚提交的按提交时间排序在实际使用Slurm系统的过程中我发现sacct命令的灵活运用可以节省大量时间。特别是在处理大规模作业时精确的查询条件能快速定位问题所在。记住sacct --help永远是你最好的朋友当不确定某个选项的用法时不要犹豫去查看帮助文档。