18. Dump配置【免费下载链接】runtime本项目提供CANN运行时组件和维测功能组件。项目地址: https://gitcode.com/cann/runtime本章节描述 CANN Runtime 的 Dump 配置接口用于算子数据 Dump 的初始化、配置及回调注册。aclError aclmdlInitDump()Dump初始化。aclError aclmdlSetDump(const char *dumpCfgPath)设置Dump参数。aclError acldumpRegCallback(int32_t (* const messageCallback)(const acldumpChunk *, int32_t len), int32_t flag)Dump数据回调函数注册接口。void acldumpUnregCallback()Dump数据回调函数取消注册接口。const char* acldumpGetPath(acldumpType dumpType)获取Dump数据存放路径以便用户将自定维测数据保存到该路径下。aclError aclmdlFinalizeDump()Dump去初始化。aclError aclopStartDumpArgs(uint32_t dumpType, const char *path)调用本接口开启算子信息统计功能并需与aclopStopDumpArgs接口配合使用将算子信息文件输出到path参数指定的目录一个shape对应一个算子信息文件文件中包含算子类型、算子属性、算子输入输出的format/数据类型/shape等信息。aclError aclopStopDumpArgs(uint32_t dumpType)调用本接口关闭算子信息统计功能并需与aclopStartDumpArgs接口配合使用将算子信息文件输出到path参数指定的目录一个shape对应一个算子信息文件文件中包含算子类型、算子属性、算子输入输出的format/数据类型/shape等信息。aclmdlInitDumpaclError aclmdlInitDump()产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品/Atlas A3 推理系列产品√Atlas A2 训练系列产品/Atlas A2 推理系列产品√功能说明Dump初始化。本接口需与其它接口配合使用实现以下功能Dump数据落盘到文件aclmdlInitDump接口、aclmdlSetDump接口、aclmdlFinalizeDump接口配合使用用于将Dump数据记录到文件中。一个进程内可以根据需求多次调用这些接口基于不同的Dump配置信息获取Dump数据。场景举例如下执行两个不同的模型需要设置不同的Dump配置信息接口调用顺序aclInit接口--aclmdlInitDump接口--aclmdlSetDump接口--模型1加载--模型1执行--aclmdlFinalizeDump接口--模型1卸载--aclmdlInitDump接口--aclmdlSetDump接口--模型2加载--模型2执行--aclmdlFinalizeDump接口--模型2卸载--执行其它任务--aclFinalize接口同一个模型执行两次第一次需要Dump第二次无需Dump接口调用顺序aclInit接口--aclmdlInitDump接口--aclmdlSetDump接口--模型加载--模型执行--aclmdlFinalizeDump接口--模型卸载--模型加载--模型执行--执行其它任务--aclFinalize接口Dump数据不落盘到文件直接通过回调函数获取aclmdlInitDump接口、acldumpRegCallback接口通过该接口注册的回调函数需由用户自行实现回调函数实现逻辑中包括获取Dump数据及数据长度、acldumpUnregCallback接口、aclmdlFinalizeDump接口配合使用用于通过回调函数获取Dump数据。场景举例如下执行一个模型通过回调获取Dump数据aclInit接口--acldumpRegCallback接口--aclmdlInitDump接口--模型加载--模型执行--aclmdlFinalizeDump接口--acldumpUnregCallback接口--模型卸载--aclFinalize接口执行两个不同的模型通过回调获取Dump数据该场景下只要不调用acldumpUnregCallback接口取消注册回调函数则可通过回调函数获取两个模型的Dump数据aclInit接口--acldumpRegCallback接口--aclmdlInitDump接口--模型1加载--模型1执行----模型2加载--模型2执行--aclmdlFinalizeDump接口--模型卸载--acldumpUnregCallback接口--aclFinalize接口参数说明无返回值说明返回0表示成功返回其他值表示失败请参见aclError。约束说明对于模型Dump配置、单算子Dump配置、溢出算子Dump配置如果已经通过aclInit接口配置了dump信息则调用aclmdlInitDump接口时会返回失败。必须在调用aclInit接口之后、模型加载接口之前调用aclmdlInitDump接口。参考资源当前还提供了aclInit接口在初始化阶段通过*.json文件传入Dump配置信息运行应用后获取Dump数据的方式。该种方式一个进程内只能调用一次aclInit接口如果要修改Dump配置信息需修改*.json文件中的配置。aclmdlSetDumpaclError aclmdlSetDump(const char *dumpCfgPath)产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品/Atlas A3 推理系列产品√Atlas A2 训练系列产品/Atlas A2 推理系列产品√功能说明设置Dump参数。aclmdlInitDump接口、aclmdlSetDump接口、aclmdlFinalizeDump接口配合使用用于将Dump数据记录到文件中。一个进程内可以根据需求多次调用这些接口基于不同的Dump配置信息获取Dump数据。场景举例如下执行两个不同的模型需要设置不同的Dump配置信息接口调用顺序aclInit接口--aclmdlInitDump接口--aclmdlSetDump接口--模型1加载--模型1执行--aclmdlFinalizeDump接口--模型1卸载--aclmdlInitDump接口--aclmdlSetDump接口--模型2加载--模型2执行--aclmdlFinalizeDump接口--模型2卸载--执行其它任务--aclFinalize接口同一个模型执行两次第一次需要Dump第二次无需Dump接口调用顺序aclInit接口--aclmdlInitDump接口--aclmdlSetDump接口--模型加载--模型执行--aclmdlFinalizeDump接口--模型卸载--模型加载--模型执行--执行其它任务--aclFinalize接口参数说明参数名输入/输出说明dumpCfgPath输入配置文件路径的指针包含文件名。配置文件格式为json格式。可通过该配置文件配置开启或配置各类Dump信息详细描述请参见下文各功能配置示例中的描述。如果算子输入或输出中包含用户的敏感信息则存在信息泄露风险。返回值说明返回0表示成功返回其他值表示失败请参见aclError。约束说明只有在调用本接口开启Dump之后加载模型配置的Dump信息有效。在调用本接口之前已经加载的模型不受影响除非用户在调用本接口后重新加载该模型。例如以下接口调用顺序中加载的模型1不受影响配置的Dump信息仅对加载的模型2有效aclmdlInitDump接口--模型1加载--aclmdlSetDump接口--模型2加载--aclmdlFinalizeDump接口多次调用本接口对同一个模型配置了Dump信息系统内处理时会采用覆盖策略。例如以下接口调用顺序中第二次调用本接口配置的Dump信息会覆盖第一次配置的Dump信息aclmdlInitDump接口--aclmdlSetDump接口--aclmdlSetDump接口--模型1加载--aclmdlFinalizeDump接口模型Dump配置、单算子Dump配置模型Dump配置用于导出模型中每一层算子输入和输出数据、单算子Dump配置用于导出单个算子的输入和输出数据导出的数据用于与指定模型或算子进行比对定位精度问题具体比对方法请参见《精度调试工具用户指南》。默认不启用该Dump配置。通过本接口启用Dump配置需通过dump_path参数配置保存Dump数据的路径。模型Dump配置示例如下{ dump:{ dump_list:[ { model_name:ResNet-101 }, { model_name:ResNet-50, layer:[ conv1conv1_relu, res2a_branch2ares2a_branch2a_relu, res2a_branch1, pool1 ] } ], dump_path:/home/output, dump_mode:output, dump_op_switch:off, dump_data:tensor } }单算子调用场景下Dump配置示例如下{ dump:{ dump_path:/home/output, dump_list:[{}], dump_op_switch:on, dump_data:tensor } }表 1acl.json文件格式说明配置项参数说明dump_list必选待dump数据的整网模型列表。- 模型推理场景下当需要Dump全部算子时配置为dump_list:[{}]当需要Dump多个模型或特定算子时需要结合model_name和layer使用。- 在单算子调用场景包括单算子模型执行和单算子API执行下dump_list建议配置为dump_list:[{}]model_name模型名称各个模型的model_name值须唯一。- 模型加载方式为文件加载时填入模型文件的名称不需要带后缀名也可以配置为ATC模型文件转换后的json文件里的最外层name字段对应值。- 模型加载方式为内存加载时配置为ATC模型文件转换后的json文件里的最外层name字段对应值。layerIO性能较差时可能会因为数据量过大而导致执行超时因此不建议进行全量dump请指定算子进行dump。通过该字段可以指定需要dump的算子名支持指定为ATC模型转换后的算子名也支持指定为转换前的原始算子名配置时需注意- 需按格式配置每行配置模型中的一个算子名且每个算子之间用英文逗号隔开。- 用户可以无需设置model_name此时会默认dump所有model下的相应算子。如果配置了model_name则dump对应model下的相应算子。- 若指定的算子其输入涉及data算子会同时将data算子信息dump出来若需dump data算子需要一并填写data节点算子的后继节点才能dump出data节点算子数据。- 当需要dump模型中所有算子时不需要包含layer字段。optype_blacklist配置dump数据黑名单黑名单中的指定类型的算子的输入或输出数据不会进行数据dump用户可通过该配置控制dump的数据量。该功能仅在执行模型数据dump操作且dump_level为op时生效同时支持和opname_blacklist配合使用。配置示例{dump:{dump_list:[{model_name:ResNet-50,optype_blacklist:[{name:convpos:[input0, input1]}]}],dump_path:/home/output,dump_mode:input,}}以上示例表示不对conv算子的input0数据和input1数据执行dump操作conv为算子类型。optype_blacklist中包括name和pos字段配置时需注意- name表示算子类型支持指定为ATC模型转换后的算子类型配置为空时该过滤项不生效。- pos表示算子的输入或输出仅支持配置为inputn或outputn格式其中n表示输入输出索引号。配置为空时该过滤项不生效。- optype_blacklist内最多支持配置100个过滤项。- 如果配置了model_name则仅对该model下的算子生效。如果不配置model_name则对所有model下的算子生效。opname_blacklist配置dump数据黑名单黑名单中的指定名称的算子的输入或输出数据不会进行数据dump用户可通过该配置控制dump的数据量。该功能仅在执行模型数据dump操作且dump_level为op时生效同时支持和optype_blacklist配合使用。配置示例{dump:{dump_list:[{model_name:ResNet-50,opname_blacklist:[{name:convpos:[input0, input1]}]}],dump_path:/home/output,dump_mode:input,}}以上示例表示不对conv算子的input0数据和input1数据执行dump操作conv为算子名称。opname_blacklist中包括name和pos字段配置时需注意- name表示算子名称支持指定为ATC模型转换后的算子名称配置为空时该过滤项不生效。- pos表示算子的输入或输出仅支持配置为inputn或outputn格式其中n表示输入输出索引号。配置为空时该过滤项不生效。- opname_blacklist内最多支持配置100个过滤项。- 如果配置了model_name则仅对该model下的算子生效。如果不配置model_name则对所有model下的算子生效。opname_range配置dump数据范围对begin到end闭区间内的数据执行dump操作。该功能仅在执行模型数据dump操作且dump_level为op时生效。配置示例{dump:{dump_list:[{model_name:ResNet-50,opname_range:[{begin:conv1, end:relu1 }, {begin:conv2, end:pool1}]}],dump_mode:output,dump_level: op,dump_path:/home/output}}以上示例表示对conv1到relu1、conv2到pool1闭区间内的数据执行dump操作conv1、relu1、conv2、pool1表示算子名称。配置时需注意- model_name不允许为空。- begin和end中的参数表示算子名称支持指定为ATC模型转换后的算子名称。- begin和end不允许为空且只能配置为非data算子若begin和end范围内算子的输入涉及data算子会同时对data算子信息执行dump操作。dump_path必选dump数据文件存储到运行环境的目录该目录需要提前创建且确保安装时配置的运行用户具有读写权限。支持配置绝对路径或相对路径- 绝对路径配置以“/”开头例如/home/output。- 相对路径配置直接以目录名开始例如output。dump_modedump数据模式。- inputdump算子的输入数据。- outputdump算子的输出数据默认取值output。- alldump算子的输入、输出数据。注意配置为all时由于部分算子在执行过程中会修改输入数据例如集合通信类算子HcomAllGather、HcomAllReduce等因此系统在进行dump时会在算子执行前dump算子输入在算子执行后dump算子输出这样针对同一个算子算子输入、输出的dump数据是分开落盘会出现多个dump文件在解析dump文件后用户可通过文件内容判断是输入还是输出。dump_leveldump数据级别取值- op按算子级别dump数据。- kernel按kernel级别dump数据。- all默认值op和kernel级别的数据都dump。默认配置下dump数据文件会比较多例如有一些aclnn开头的dump文件若用户对dump性能有要求或内存资源有限时则可以将该参数设置为op级别以便提升dump性能、精简dump数据文件数量。说明算子是一个运算逻辑的表示如加减乘除运算kernel是运算逻辑真正进行计算处理的实现需要分配具体的计算设备完成计算。dump_op_switch单算子调用场景包括单算子模型执行和单算子API执行下是否开启dump数据采集。- on开启。- off关闭默认取值off。dump_step指定采集哪些迭代的dump数据。推理场景无需配置。不配置该参数默认所有迭代都会产生dump数据数据量比较大建议按需指定迭代。多个迭代用“”分割例如0510也可以用“-”指定迭代范围例如03-510。配置示例{dump:{dump_list:[......],dump_path:/home/output,dump_mode:output,dump_op_switch:off,dump_step: 03-510}}训练场景下若通过acl.json中的dump_step参数指定采集哪些迭代的dump数据又同时在GEInitialize接口中配置了ge.exec.dumpStep参数该参数也用于指定采集哪些迭代的dump数据则以最后配置的参数为准。GEInitialize接口的详细介绍请参见《图开发指南》。dump_data算子dump内容类型取值- tensor: dump算子数据默认为tensor。- stats: dump算子统计数据结果文件为csv格式文件中包含算子名称、输入/输出的数据类型、最大值、最小值等。通常dump数据量太大并且耗时长可以先对算子统计数据进行dump根据统计数据识别可能异常的算子然后再dump算子数据。dump_stats当dump_datastats时可通过本参数设置收集统计数据中的哪一类数据。仅Atlas A2 训练系列产品/Atlas A2 推理系列产品支持该参数。本参数取值如下若不指定取值默认采集Max、Min、Avg、Nan、Negative Inf、Positive Inf数据- Maxdump算子统计数据中的最大值。- Mindump算子统计数据中的最小值。- Avgdump算子统计数据中的平均值。- Nandump算子统计数据中未定义或不可表示的数值仅针对浮点类型half、bfloat、float。- Negative Infdump算子统计数据中的负无穷值仅针对浮点类型half、bfloat、float。- Positive Infdump算子统计数据中的正无穷值仅针对浮点类型half、bfloat、float。- L2normdump算子统计数据的L2Norm值。配置示例{dump:{dump_list:[......],dump_path:/home/output,dump_mode:output,dump_data:stats,dump_stats:[Max, Min]}}配置文件示例异常算子Dump配置异常算子Dump配置用于导出异常算子的输入输出数据、workspace信息、Tiling信息导出的数据用于分析AI Core Error问题。默认不启用该Dump配置通过配置dump_scene参数值开启异常算子Dump功能配置文件中的示例内容如下表示开启轻量化的exception dump{ dump:{ dump_path:output, dump_scene:aic_err_brief_dump } }详细配置说明及约束如下dump_scene参数支持如下取值aic_err_brief_dump表示轻量化exception dump用于导出AI Core错误算子的输入输出、workspace数据。aic_err_norm_dump表示普通exception dump在轻量化exception dump基础上还会导出Shape、Data Type、Format以及属性信息。aic_err_detail_dump在轻量化exception dump基础上还会导出AI Core的内部存储、寄存器以及调用栈信息。配置该选项时有以下注意事项该选项仅支持以下型号且需配套25.0.RC1或更高版本的驱动才可以使用Atlas A2 训练系列产品/Atlas A2 推理系列产品Atlas A3 训练系列产品/Atlas A3 推理系列产品您可以单击Link在“固件与驱动”页面下载Ascend HDK 25.0.RC1或更高版本的驱动安装包并参考相应版本的文档进行安装、升级。若设置aic_err_detail_dump选项则需在aclrtSetDevice接口之前调用本接口且通过aclmdlFinalizeDump接口无法实现Dump去初始化。导出dump文件过程中会暂停问题算子所在的AI Core因此可能会影响Device上其它业务进程的正常执行导出dump文件后会自行恢复AI Core。导出dump文件后会强制退出Host侧用户业务进程强制退出过程中的报错可不作为AI Core问题分析的输入。如果多个Host侧用户业务进程指定同一个Device、且都配置了aic_err_detail_dump选项则先执行的进程按aic_err_detail_dump选项导出dump文件后执行的进程按照aic_err_brief_dump选项导出dump文件。lite_exception表示轻量化exception dump为了兼容旧版本效果等同于aic_err_brief_dump。dump_path是可选参数表示导出dump文件的存储路径。dump文件存储路径的优先级如下NPU_COLLECT_PATH环境变量 ASCEND_WORK_PATH环境变量 配置文件中的dump_path 应用程序的当前执行目录环境变量的详细描述请参见《环境变量参考》。若需查看导出的dump文件内容先将dump文件转换为numpy格式文件后再通过Python查看numpy格式文件详细转换步骤请参见《精度调试工具用户指南》。若将dump_scene参数设置为aic_err_detail_dump时需使用msDebug工具查看导出的dump文件内容详细方法请参见《算子开发工具用户指南》。异常算子Dump配置不能与模型Dump配置或单算子Dump配置同时开启。溢出算子Dump配置溢出算子Dump配置用于导出模型中溢出算子的输入和输出数据。导出的数据用于分析溢出原因定位模型精度的问题。默认不启用该Dump配置。将dump_debug参数设置为on表示开启溢出算子配置配置文件中的示例内容如下{ dump:{ dump_path:output, dump_debug:on } }详细配置说明及约束如下不配置dump_debug或将dump_debug配置为off表示不开启溢出算子配置。若开启溢出算子配置则dump_path必须配置表示导出dump文件的存储路径。获取导出的数据文件后文件的解析请参见《精度调试工具用户指南》。dump_path支持配置绝对路径或相对路径绝对路径配置以“/“开头例如/home。相对路径配置直接以目录名开始例如output。溢出算子Dump配置不能与模型Dump配置或单算子Dump配置同时开启否则会返回报错。仅支持采集AI Core算子的溢出数据。算子Dump Watch模式配置算子Dump Watch模式配置用于开启指定算子输出数据的观察模式。在定位部分算子精度问题且已排除算子本身的计算问题后若怀疑被其它算子踩踏内存导致精度问题可开启Dump Watch模式。默认不开启Dump Watch模式。将dump_scene参数设置为watcher开启算子Dump Watch模式配置文件中的示例内容如下配置效果为1当执行完A算子、B算子时会把C算子和D算子的输出Dump出来2当执行完C算子、D算子时也会把C算子和D算子的输出Dump出来。将1、2中的C算子、D算子的Dump文件进行比较用于排查A算子、B算子是否会踩踏C算子、D算子的输出内存。{ dump:{ dump_list:[ { layer:[A, B], watcher_nodes:[C, D] } ], dump_path:/home/, dump_mode:output, dump_scene:watcher } }详细配置说明及约束如下若开启算子Dump Watch模式则不支持同时开启溢出算子Dump配置dump_debug参数或开启单算子模型Dump配置dump_op_switch参数否则报错。该模式在单算子API Dump场景下不生效。在dump_list中通过layer参数配置可能踩踏其它算子内存的算子名称通过watcher_nodes参数配置可能被其它算子踩踏输出内存导致精度有问题的算子名称。若不指定layer则模型内所有支持Dump的算子在执行后都会将watcher_nodes中配置的算子的输出Dump出来。layer和watcher_nodes处配置的算子都必须是静态图、静态子图中的算子否则不生效。若layer和watcher_nodes处配置的算子名称相同或者layer处配置的是集合通信类算子算子类型以Hcom开头例如HcomAllReduce则只导出watcher_nodes中所配置算子的dump文件。对于融合算子watcher_nodes处配置的算子名称必须是融合后的算子名称若配置融合前的算子名称则不导出dump文件。dump_list内暂不支持配置model_name。开启算子Dump Watch模式则dump_path必须配置表示导出dump文件的存储路径。此处收集的dump文件无法通过文本工具直接查看其内容若需查看dump文件内容先将dump文件转换为numpy格式文件后再通过Python查看numpy格式文件详细转换步骤请参见《精度调试工具用户指南》。dump_path支持配置绝对路径或相对路径绝对路径配置以“/“开头例如/home。相对路径配置直接以目录名开始例如output。通过dump_mode参数控制导出watcher_nodes中所配置算子的哪部分数据当前仅支持配置为output。算子Kernel调测信息Dump配置算子Kernel调测信息Dump配置用于导出Ascend C算子Kernel的调测信息便于定位算子问题。默认不启用该Dump配置。仅如下型号支持该配置Ascend 950PR/Ascend 950DTAtlas A3 训练系列产品/Atlas A3 推理系列产品Atlas A2 训练系列产品/Atlas A2 推理系列产品配置dump_kernel_data参数开启算子Kernel调测信息Dump功能配置文件中的示例如下{ dump:{ dump_kernel_data:printf,assert, dump_path:/home/ } }详细配置说明及约束如下dump_kernel_data指定导出数据的类型支持配置多个类型用英文逗号隔开。如果未配置该字段但启用了模型Dump配置、单算子Dump配置则默认按all导出调测信息。当前支持如下类型all导出以下所有类型调测的输出数据。printf导出通过AscendC::printf调测的输出数据。tensor导出通过AscendC::DumpTensor调测的输出数据。assert导出通过assert/ascendc_assert调测的输出数据。timestamp导出通过AscendC::PrintTimeStamp调测的输出数据。dump_path启用算子Kernel调测信息Dump功能时dump_path必须配置表示导出Dump文件的存储路径支持配置绝对路径或相对路径。Dump文件存储路径的优先级如下ASCEND_DUMP_PATH环境变量 ASCEND_WORK_PATH环境变量 配置文件中的dump_path环境变量的详细描述请参见《环境变量参考》。导出的Dump文件无法通过文本工具直接查看其内容若需查看需使用show_kernel_debug_data工具将调测信息解析为可读格式工具使用指导请参见《Ascend C算子开发指南》。参考资源当前还提供了aclInit接口在初始化阶段通过*.json文件传入Dump配置信息运行应用后获取Dump数据的方式。该种方式一个进程内只能调用一次aclInit接口如果要修改Dump配置信息需修改*.json文件中的配置。acldumpRegCallbackaclError acldumpRegCallback(int32_t (* const messageCallback)(const acldumpChunk *, int32_t len), int32_t flag)产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品/Atlas A3 推理系列产品√Atlas A2 训练系列产品/Atlas A2 推理系列产品√功能说明Dump数据回调函数注册接口。aclmdlInitDump接口、acldumpRegCallback接口通过该接口注册的回调函数需由用户自行实现回调函数实现逻辑中包括获取Dump数据及数据长度、acldumpUnregCallback接口、aclmdlFinalizeDump接口配合使用用于通过回调函数获取Dump数据。场景举例如下执行一个模型通过回调获取Dump数据支持以下两种方式在aclInit接口处不启用模型Dump配置、单算子Dump配置aclInit接口--aclmdlInitDump接口--acldumpRegCallback接口--模型加载--模型执行--acldumpUnregCallback接口--aclmdlFinalizeDump接口--模型卸载--aclFinalize接口在aclInit接口处启用模型Dump配置、单算子Dump配置在aclInit接口处启用Dump配置时需配置落盘路径但如果调用了acldumpRegCallback接口则落盘不生效以回调函数获取的Dump数据为准aclInit接口--acldumpRegCallback接口--模型加载--模型执行--acldumpUnregCallback接口--模型卸载--aclFinalize接口执行两个不同的模型通过回调获取Dump数据该场景下只要不调用acldumpUnregCallback接口取消注册回调函数则可通过回调函数获取两个模型的Dump数据aclInit接口--aclmdlInitDump接口--acldumpRegCallback接口--模型1加载--模型1执行----模型2加载--模型2执行--acldumpUnregCallback接口--aclmdlFinalizeDump接口--模型卸载--aclFinalize接口参数说明参数名输入/输出说明messageCallback输入回调函数指针用于接收回调数据的回调。- acldumpChunk结构体的定义如下在实现messageCallback回调函数时可以获取acldumpChunk结构体中的dataBuf、bufLen等参数值用于获取Dump数据及其数据长度typedef struct acldumpChunk {char fileName[ACL_DUMP_MAX_FILE_PATH_LENGTH]; // 待落盘的Dump数据文件名ACL_DUMP_MAX_FILE_PATH_LENGTH表示文件名最大长度当前为4096uint32_t bufLen; // dataBuf数据长度单位Byteuint32_t isLastChunk; // 标识Dump数据是否为最后一个分片0表示不是最后一个分片1表示最后一个分片int64_t offset; // Dump数据文件内容的偏移其中-1表示文件追加内容int32_t flag; // 预留Dump数据标识当前数据无标识uint8_t dataBuf[0]; // Dump数据的内存地址} acldumpChunk;- len表示acldumpChunk结构体的长度单位Byte。flag输入在调用回调接口后是否还落盘dump数据- 0不落盘当前仅支持0返回值说明返回0表示成功返回其他值表示失败请参见aclError。acldumpUnregCallbackvoid acldumpUnregCallback()产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品/Atlas A3 推理系列产品√Atlas A2 训练系列产品/Atlas A2 推理系列产品√功能说明Dump数据回调函数取消注册接口。acldumpUnregCallback需要和acldumpRegCallback配合使用且必须在acldumpRegCallback调用后才有效。aclmdlInitDump接口、acldumpRegCallback接口通过该接口注册的回调函数需由用户自行实现回调函数实现逻辑中包括获取Dump数据及数据长度、acldumpUnregCallback接口、aclmdlFinalizeDump接口配合使用用于通过回调函数获取Dump数据。场景举例如下执行一个模型通过回调获取Dump数据aclInit接口--acldumpRegCallback接口--aclmdlInitDump接口--模型加载--模型执行--aclmdlFinalizeDump接口--acldumpUnregCallback接口--模型卸载--aclFinalize接口执行两个不同的模型通过回调获取Dump数据该场景下只要不调用acldumpUnregCallback接口取消注册回调函数则可通过回调函数获取两个模型的Dump数据aclInit接口--acldumpRegCallback接口--aclmdlInitDump接口--模型1加载--模型1执行----模型2加载--模型2执行--aclmdlFinalizeDump接口--模型卸载--acldumpUnregCallback接口--aclFinalize接口参数说明无返回值说明无acldumpGetPathconst char* acldumpGetPath(acldumpType dumpType)产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品/Atlas A3 推理系列产品√Atlas A2 训练系列产品/Atlas A2 推理系列产品√功能说明获取Dump数据存放路径以便用户将自定维测数据保存到该路径下。在调用本接口前需通过aclmdlInitDump接口初始化Dump功能、通过aclmdlSetDump接口配置Dump信息或者直接通过aclInit接口配置Dump信息。参数说明参数名输入/输出说明dumpType输入Dump类型。类型定义请参见acldumpType。返回值说明返回Dump数据的路径。如果返回空指针则表示未查询到Dump路径。aclmdlFinalizeDumpaclError aclmdlFinalizeDump()产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品/Atlas A3 推理系列产品√Atlas A2 训练系列产品/Atlas A2 推理系列产品√功能说明Dump去初始化。本接口需与其它接口配合使用实现以下功能Dump数据落盘到文件aclmdlInitDump接口、aclmdlSetDump接口、aclmdlFinalizeDump接口配合使用用于将Dump数据记录到文件中。一个进程内可以根据需求多次调用这些接口基于不同的Dump配置信息获取Dump数据。场景举例如下执行两个不同的模型需要设置不同的Dump配置信息接口调用顺序aclInit接口--aclmdlInitDump接口--aclmdlSetDump接口--模型1加载--模型1执行--aclmdlFinalizeDump接口--模型1卸载--aclmdlInitDump接口--aclmdlSetDump接口--模型2加载--模型2执行--aclmdlFinalizeDump接口--模型2卸载--执行其它任务--aclFinalize接口同一个模型执行两次第一次需要Dump第二次无需Dump接口调用顺序aclInit接口--aclmdlInitDump接口--aclmdlSetDump接口--模型加载--模型执行--aclmdlFinalizeDump接口--模型卸载--模型加载--模型执行--执行其它任务--aclFinalize接口Dump数据不落盘到文件直接通过回调函数获取aclmdlInitDump接口、acldumpRegCallback接口通过该接口注册的回调函数需由用户自行实现回调函数实现逻辑中包括获取Dump数据及数据长度、acldumpUnregCallback接口、aclmdlFinalizeDump接口配合使用用于通过回调函数获取Dump数据。场景举例如下执行一个模型通过回调获取Dump数据aclInit接口--acldumpRegCallback接口--aclmdlInitDump接口--模型加载--模型执行--aclmdlFinalizeDump接口--acldumpUnregCallback接口--模型卸载--aclFinalize接口执行两个不同的模型通过回调获取Dump数据该场景下只要不调用acldumpUnregCallback接口取消注册回调函数则可通过回调函数获取两个模型的Dump数据aclInit接口--acldumpRegCallback接口--aclmdlInitDump接口--模型1加载--模型1执行----模型2加载--模型2执行--aclmdlFinalizeDump接口--模型卸载--acldumpUnregCallback接口--aclFinalize接口参数说明无返回值说明返回0表示成功返回其他值表示失败请参见aclError。参考资源当前还提供了aclInit接口在初始化阶段通过*.json文件传入Dump配置信息运行应用后获取Dump数据的方式。该种方式一个进程内只能调用一次aclInit接口如果要修改Dump配置信息需修改*.json文件中的配置。aclopStartDumpArgsaclError aclopStartDumpArgs(uint32_t dumpType, const char *path)产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品/Atlas A3 推理系列产品√Atlas A2 训练系列产品/Atlas A2 推理系列产品√功能说明调用本接口开启算子信息统计功能并需与aclopStopDumpArgs接口配合使用将算子信息文件输出到path参数指定的目录一个shape对应一个算子信息文件文件中包含算子类型、算子属性、算子输入输出的format/数据类型/shape等信息。**使用场景**例如要统计某个模型执行涉及哪些算子可在模型执行之前调用aclopStartDumpArgs接口在模型执行之后调用aclopStopDumpArgs接口接口调用成功后在path参数指定的目录下生成每个算子shape的算子信息文件。参数说明参数名输入/输出说明dumpType输入指定dump信息的类型。当前仅支持ACL_OP_DUMP_OP_AICORE_ARGS表示统计所有算子信息。#define ACL_OP_DUMP_OP_AICORE_ARGS 0x00000001Upath输入指定dump文件的保存路径支持绝对路径或相对路径指相对应用可执行文件所在的目录但用户需确保路径存在或者该路径可以被创建。返回值说明返回0表示成功返回其他值表示失败请参见aclError。约束说明仅支持在单算子API执行例如接口名前缀为aclnn的接口场景下使用本接口否则无法生成dump文件。aclopStopDumpArgsaclError aclopStopDumpArgs(uint32_t dumpType)产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品/Atlas A3 推理系列产品√Atlas A2 训练系列产品/Atlas A2 推理系列产品√功能说明调用本接口关闭算子信息统计功能并需与aclopStartDumpArgs接口配合使用将算子信息文件输出到path参数指定的目录一个shape对应一个算子信息文件文件中包含算子类型、算子属性、算子输入输出的format/数据类型/shape等信息。**使用场景**例如要统计某个模型执行涉及哪些算子可在模型执行之前调用aclopStartDumpArgs接口在模型执行之后调用aclopStopDumpArgs接口接口调用成功后在path参数指定的目录下生成每个算子shape的算子信息文件。参数说明参数名输入/输出说明dumpType输入指定dump信息的类型。当前仅支持ACL_OP_DUMP_OP_AICORE_ARGS表示统计所有算子信息。#define ACL_OP_DUMP_OP_AICORE_ARGS 0x00000001U返回值说明返回0表示成功返回其他值表示失败请参见aclError。约束说明仅支持在单算子API执行例如接口名前缀为aclnn的接口场景下使用本接口否则无法生成dump文件。【免费下载链接】runtime本项目提供CANN运行时组件和维测功能组件。项目地址: https://gitcode.com/cann/runtime创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
CANN/runtime Dump配置API
发布时间：2026/7/11 5:14:23
18. Dump配置【免费下载链接】runtime本项目提供CANN运行时组件和维测功能组件。项目地址: https://gitcode.com/cann/runtime本章节描述 CANN Runtime 的 Dump 配置接口用于算子数据 Dump 的初始化、配置及回调注册。aclError aclmdlInitDump()Dump初始化。aclError aclmdlSetDump(const char *dumpCfgPath)设置Dump参数。aclError acldumpRegCallback(int32_t (* const messageCallback)(const acldumpChunk *, int32_t len), int32_t flag)Dump数据回调函数注册接口。void acldumpUnregCallback()Dump数据回调函数取消注册接口。const char* acldumpGetPath(acldumpType dumpType)获取Dump数据存放路径以便用户将自定维测数据保存到该路径下。aclError aclmdlFinalizeDump()Dump去初始化。aclError aclopStartDumpArgs(uint32_t dumpType, const char *path)调用本接口开启算子信息统计功能并需与aclopStopDumpArgs接口配合使用将算子信息文件输出到path参数指定的目录一个shape对应一个算子信息文件文件中包含算子类型、算子属性、算子输入输出的format/数据类型/shape等信息。aclError aclopStopDumpArgs(uint32_t dumpType)调用本接口关闭算子信息统计功能并需与aclopStartDumpArgs接口配合使用将算子信息文件输出到path参数指定的目录一个shape对应一个算子信息文件文件中包含算子类型、算子属性、算子输入输出的format/数据类型/shape等信息。aclmdlInitDumpaclError aclmdlInitDump()产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品/Atlas A3 推理系列产品√Atlas A2 训练系列产品/Atlas A2 推理系列产品√功能说明Dump初始化。本接口需与其它接口配合使用实现以下功能Dump数据落盘到文件aclmdlInitDump接口、aclmdlSetDump接口、aclmdlFinalizeDump接口配合使用用于将Dump数据记录到文件中。一个进程内可以根据需求多次调用这些接口基于不同的Dump配置信息获取Dump数据。场景举例如下执行两个不同的模型需要设置不同的Dump配置信息接口调用顺序aclInit接口--aclmdlInitDump接口--aclmdlSetDump接口--模型1加载--模型1执行--aclmdlFinalizeDump接口--模型1卸载--aclmdlInitDump接口--aclmdlSetDump接口--模型2加载--模型2执行--aclmdlFinalizeDump接口--模型2卸载--执行其它任务--aclFinalize接口同一个模型执行两次第一次需要Dump第二次无需Dump接口调用顺序aclInit接口--aclmdlInitDump接口--aclmdlSetDump接口--模型加载--模型执行--aclmdlFinalizeDump接口--模型卸载--模型加载--模型执行--执行其它任务--aclFinalize接口Dump数据不落盘到文件直接通过回调函数获取aclmdlInitDump接口、acldumpRegCallback接口通过该接口注册的回调函数需由用户自行实现回调函数实现逻辑中包括获取Dump数据及数据长度、acldumpUnregCallback接口、aclmdlFinalizeDump接口配合使用用于通过回调函数获取Dump数据。场景举例如下执行一个模型通过回调获取Dump数据aclInit接口--acldumpRegCallback接口--aclmdlInitDump接口--模型加载--模型执行--aclmdlFinalizeDump接口--acldumpUnregCallback接口--模型卸载--aclFinalize接口执行两个不同的模型通过回调获取Dump数据该场景下只要不调用acldumpUnregCallback接口取消注册回调函数则可通过回调函数获取两个模型的Dump数据aclInit接口--acldumpRegCallback接口--aclmdlInitDump接口--模型1加载--模型1执行----模型2加载--模型2执行--aclmdlFinalizeDump接口--模型卸载--acldumpUnregCallback接口--aclFinalize接口参数说明无返回值说明返回0表示成功返回其他值表示失败请参见aclError。约束说明对于模型Dump配置、单算子Dump配置、溢出算子Dump配置如果已经通过aclInit接口配置了dump信息则调用aclmdlInitDump接口时会返回失败。必须在调用aclInit接口之后、模型加载接口之前调用aclmdlInitDump接口。参考资源当前还提供了aclInit接口在初始化阶段通过*.json文件传入Dump配置信息运行应用后获取Dump数据的方式。该种方式一个进程内只能调用一次aclInit接口如果要修改Dump配置信息需修改*.json文件中的配置。aclmdlSetDumpaclError aclmdlSetDump(const char *dumpCfgPath)产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品/Atlas A3 推理系列产品√Atlas A2 训练系列产品/Atlas A2 推理系列产品√功能说明设置Dump参数。aclmdlInitDump接口、aclmdlSetDump接口、aclmdlFinalizeDump接口配合使用用于将Dump数据记录到文件中。一个进程内可以根据需求多次调用这些接口基于不同的Dump配置信息获取Dump数据。场景举例如下执行两个不同的模型需要设置不同的Dump配置信息接口调用顺序aclInit接口--aclmdlInitDump接口--aclmdlSetDump接口--模型1加载--模型1执行--aclmdlFinalizeDump接口--模型1卸载--aclmdlInitDump接口--aclmdlSetDump接口--模型2加载--模型2执行--aclmdlFinalizeDump接口--模型2卸载--执行其它任务--aclFinalize接口同一个模型执行两次第一次需要Dump第二次无需Dump接口调用顺序aclInit接口--aclmdlInitDump接口--aclmdlSetDump接口--模型加载--模型执行--aclmdlFinalizeDump接口--模型卸载--模型加载--模型执行--执行其它任务--aclFinalize接口参数说明参数名输入/输出说明dumpCfgPath输入配置文件路径的指针包含文件名。配置文件格式为json格式。可通过该配置文件配置开启或配置各类Dump信息详细描述请参见下文各功能配置示例中的描述。如果算子输入或输出中包含用户的敏感信息则存在信息泄露风险。返回值说明返回0表示成功返回其他值表示失败请参见aclError。约束说明只有在调用本接口开启Dump之后加载模型配置的Dump信息有效。在调用本接口之前已经加载的模型不受影响除非用户在调用本接口后重新加载该模型。例如以下接口调用顺序中加载的模型1不受影响配置的Dump信息仅对加载的模型2有效aclmdlInitDump接口--模型1加载--aclmdlSetDump接口--模型2加载--aclmdlFinalizeDump接口多次调用本接口对同一个模型配置了Dump信息系统内处理时会采用覆盖策略。例如以下接口调用顺序中第二次调用本接口配置的Dump信息会覆盖第一次配置的Dump信息aclmdlInitDump接口--aclmdlSetDump接口--aclmdlSetDump接口--模型1加载--aclmdlFinalizeDump接口模型Dump配置、单算子Dump配置模型Dump配置用于导出模型中每一层算子输入和输出数据、单算子Dump配置用于导出单个算子的输入和输出数据导出的数据用于与指定模型或算子进行比对定位精度问题具体比对方法请参见《精度调试工具用户指南》。默认不启用该Dump配置。通过本接口启用Dump配置需通过dump_path参数配置保存Dump数据的路径。模型Dump配置示例如下{ dump:{ dump_list:[ { model_name:ResNet-101 }, { model_name:ResNet-50, layer:[ conv1conv1_relu, res2a_branch2ares2a_branch2a_relu, res2a_branch1, pool1 ] } ], dump_path:/home/output, dump_mode:output, dump_op_switch:off, dump_data:tensor } }单算子调用场景下Dump配置示例如下{ dump:{ dump_path:/home/output, dump_list:[{}], dump_op_switch:on, dump_data:tensor } }表 1acl.json文件格式说明配置项参数说明dump_list必选待dump数据的整网模型列表。- 模型推理场景下当需要Dump全部算子时配置为dump_list:[{}]当需要Dump多个模型或特定算子时需要结合model_name和layer使用。- 在单算子调用场景包括单算子模型执行和单算子API执行下dump_list建议配置为dump_list:[{}]model_name模型名称各个模型的model_name值须唯一。- 模型加载方式为文件加载时填入模型文件的名称不需要带后缀名也可以配置为ATC模型文件转换后的json文件里的最外层name字段对应值。- 模型加载方式为内存加载时配置为ATC模型文件转换后的json文件里的最外层name字段对应值。layerIO性能较差时可能会因为数据量过大而导致执行超时因此不建议进行全量dump请指定算子进行dump。通过该字段可以指定需要dump的算子名支持指定为ATC模型转换后的算子名也支持指定为转换前的原始算子名配置时需注意- 需按格式配置每行配置模型中的一个算子名且每个算子之间用英文逗号隔开。- 用户可以无需设置model_name此时会默认dump所有model下的相应算子。如果配置了model_name则dump对应model下的相应算子。- 若指定的算子其输入涉及data算子会同时将data算子信息dump出来若需dump data算子需要一并填写data节点算子的后继节点才能dump出data节点算子数据。- 当需要dump模型中所有算子时不需要包含layer字段。optype_blacklist配置dump数据黑名单黑名单中的指定类型的算子的输入或输出数据不会进行数据dump用户可通过该配置控制dump的数据量。该功能仅在执行模型数据dump操作且dump_level为op时生效同时支持和opname_blacklist配合使用。配置示例{dump:{dump_list:[{model_name:ResNet-50,optype_blacklist:[{name:convpos:[input0, input1]}]}],dump_path:/home/output,dump_mode:input,}}以上示例表示不对conv算子的input0数据和input1数据执行dump操作conv为算子类型。optype_blacklist中包括name和pos字段配置时需注意- name表示算子类型支持指定为ATC模型转换后的算子类型配置为空时该过滤项不生效。- pos表示算子的输入或输出仅支持配置为inputn或outputn格式其中n表示输入输出索引号。配置为空时该过滤项不生效。- optype_blacklist内最多支持配置100个过滤项。- 如果配置了model_name则仅对该model下的算子生效。如果不配置model_name则对所有model下的算子生效。opname_blacklist配置dump数据黑名单黑名单中的指定名称的算子的输入或输出数据不会进行数据dump用户可通过该配置控制dump的数据量。该功能仅在执行模型数据dump操作且dump_level为op时生效同时支持和optype_blacklist配合使用。配置示例{dump:{dump_list:[{model_name:ResNet-50,opname_blacklist:[{name:convpos:[input0, input1]}]}],dump_path:/home/output,dump_mode:input,}}以上示例表示不对conv算子的input0数据和input1数据执行dump操作conv为算子名称。opname_blacklist中包括name和pos字段配置时需注意- name表示算子名称支持指定为ATC模型转换后的算子名称配置为空时该过滤项不生效。- pos表示算子的输入或输出仅支持配置为inputn或outputn格式其中n表示输入输出索引号。配置为空时该过滤项不生效。- opname_blacklist内最多支持配置100个过滤项。- 如果配置了model_name则仅对该model下的算子生效。如果不配置model_name则对所有model下的算子生效。opname_range配置dump数据范围对begin到end闭区间内的数据执行dump操作。该功能仅在执行模型数据dump操作且dump_level为op时生效。配置示例{dump:{dump_list:[{model_name:ResNet-50,opname_range:[{begin:conv1, end:relu1 }, {begin:conv2, end:pool1}]}],dump_mode:output,dump_level: op,dump_path:/home/output}}以上示例表示对conv1到relu1、conv2到pool1闭区间内的数据执行dump操作conv1、relu1、conv2、pool1表示算子名称。配置时需注意- model_name不允许为空。- begin和end中的参数表示算子名称支持指定为ATC模型转换后的算子名称。- begin和end不允许为空且只能配置为非data算子若begin和end范围内算子的输入涉及data算子会同时对data算子信息执行dump操作。dump_path必选dump数据文件存储到运行环境的目录该目录需要提前创建且确保安装时配置的运行用户具有读写权限。支持配置绝对路径或相对路径- 绝对路径配置以“/”开头例如/home/output。- 相对路径配置直接以目录名开始例如output。dump_modedump数据模式。- inputdump算子的输入数据。- outputdump算子的输出数据默认取值output。- alldump算子的输入、输出数据。注意配置为all时由于部分算子在执行过程中会修改输入数据例如集合通信类算子HcomAllGather、HcomAllReduce等因此系统在进行dump时会在算子执行前dump算子输入在算子执行后dump算子输出这样针对同一个算子算子输入、输出的dump数据是分开落盘会出现多个dump文件在解析dump文件后用户可通过文件内容判断是输入还是输出。dump_leveldump数据级别取值- op按算子级别dump数据。- kernel按kernel级别dump数据。- all默认值op和kernel级别的数据都dump。默认配置下dump数据文件会比较多例如有一些aclnn开头的dump文件若用户对dump性能有要求或内存资源有限时则可以将该参数设置为op级别以便提升dump性能、精简dump数据文件数量。说明算子是一个运算逻辑的表示如加减乘除运算kernel是运算逻辑真正进行计算处理的实现需要分配具体的计算设备完成计算。dump_op_switch单算子调用场景包括单算子模型执行和单算子API执行下是否开启dump数据采集。- on开启。- off关闭默认取值off。dump_step指定采集哪些迭代的dump数据。推理场景无需配置。不配置该参数默认所有迭代都会产生dump数据数据量比较大建议按需指定迭代。多个迭代用“”分割例如0510也可以用“-”指定迭代范围例如03-510。配置示例{dump:{dump_list:[......],dump_path:/home/output,dump_mode:output,dump_op_switch:off,dump_step: 03-510}}训练场景下若通过acl.json中的dump_step参数指定采集哪些迭代的dump数据又同时在GEInitialize接口中配置了ge.exec.dumpStep参数该参数也用于指定采集哪些迭代的dump数据则以最后配置的参数为准。GEInitialize接口的详细介绍请参见《图开发指南》。dump_data算子dump内容类型取值- tensor: dump算子数据默认为tensor。- stats: dump算子统计数据结果文件为csv格式文件中包含算子名称、输入/输出的数据类型、最大值、最小值等。通常dump数据量太大并且耗时长可以先对算子统计数据进行dump根据统计数据识别可能异常的算子然后再dump算子数据。dump_stats当dump_datastats时可通过本参数设置收集统计数据中的哪一类数据。仅Atlas A2 训练系列产品/Atlas A2 推理系列产品支持该参数。本参数取值如下若不指定取值默认采集Max、Min、Avg、Nan、Negative Inf、Positive Inf数据- Maxdump算子统计数据中的最大值。- Mindump算子统计数据中的最小值。- Avgdump算子统计数据中的平均值。- Nandump算子统计数据中未定义或不可表示的数值仅针对浮点类型half、bfloat、float。- Negative Infdump算子统计数据中的负无穷值仅针对浮点类型half、bfloat、float。- Positive Infdump算子统计数据中的正无穷值仅针对浮点类型half、bfloat、float。- L2normdump算子统计数据的L2Norm值。配置示例{dump:{dump_list:[......],dump_path:/home/output,dump_mode:output,dump_data:stats,dump_stats:[Max, Min]}}配置文件示例异常算子Dump配置异常算子Dump配置用于导出异常算子的输入输出数据、workspace信息、Tiling信息导出的数据用于分析AI Core Error问题。默认不启用该Dump配置通过配置dump_scene参数值开启异常算子Dump功能配置文件中的示例内容如下表示开启轻量化的exception dump{ dump:{ dump_path:output, dump_scene:aic_err_brief_dump } }详细配置说明及约束如下dump_scene参数支持如下取值aic_err_brief_dump表示轻量化exception dump用于导出AI Core错误算子的输入输出、workspace数据。aic_err_norm_dump表示普通exception dump在轻量化exception dump基础上还会导出Shape、Data Type、Format以及属性信息。aic_err_detail_dump在轻量化exception dump基础上还会导出AI Core的内部存储、寄存器以及调用栈信息。配置该选项时有以下注意事项该选项仅支持以下型号且需配套25.0.RC1或更高版本的驱动才可以使用Atlas A2 训练系列产品/Atlas A2 推理系列产品Atlas A3 训练系列产品/Atlas A3 推理系列产品您可以单击Link在“固件与驱动”页面下载Ascend HDK 25.0.RC1或更高版本的驱动安装包并参考相应版本的文档进行安装、升级。若设置aic_err_detail_dump选项则需在aclrtSetDevice接口之前调用本接口且通过aclmdlFinalizeDump接口无法实现Dump去初始化。导出dump文件过程中会暂停问题算子所在的AI Core因此可能会影响Device上其它业务进程的正常执行导出dump文件后会自行恢复AI Core。导出dump文件后会强制退出Host侧用户业务进程强制退出过程中的报错可不作为AI Core问题分析的输入。如果多个Host侧用户业务进程指定同一个Device、且都配置了aic_err_detail_dump选项则先执行的进程按aic_err_detail_dump选项导出dump文件后执行的进程按照aic_err_brief_dump选项导出dump文件。lite_exception表示轻量化exception dump为了兼容旧版本效果等同于aic_err_brief_dump。dump_path是可选参数表示导出dump文件的存储路径。dump文件存储路径的优先级如下NPU_COLLECT_PATH环境变量 ASCEND_WORK_PATH环境变量 配置文件中的dump_path 应用程序的当前执行目录环境变量的详细描述请参见《环境变量参考》。若需查看导出的dump文件内容先将dump文件转换为numpy格式文件后再通过Python查看numpy格式文件详细转换步骤请参见《精度调试工具用户指南》。若将dump_scene参数设置为aic_err_detail_dump时需使用msDebug工具查看导出的dump文件内容详细方法请参见《算子开发工具用户指南》。异常算子Dump配置不能与模型Dump配置或单算子Dump配置同时开启。溢出算子Dump配置溢出算子Dump配置用于导出模型中溢出算子的输入和输出数据。导出的数据用于分析溢出原因定位模型精度的问题。默认不启用该Dump配置。将dump_debug参数设置为on表示开启溢出算子配置配置文件中的示例内容如下{ dump:{ dump_path:output, dump_debug:on } }详细配置说明及约束如下不配置dump_debug或将dump_debug配置为off表示不开启溢出算子配置。若开启溢出算子配置则dump_path必须配置表示导出dump文件的存储路径。获取导出的数据文件后文件的解析请参见《精度调试工具用户指南》。dump_path支持配置绝对路径或相对路径绝对路径配置以“/“开头例如/home。相对路径配置直接以目录名开始例如output。溢出算子Dump配置不能与模型Dump配置或单算子Dump配置同时开启否则会返回报错。仅支持采集AI Core算子的溢出数据。算子Dump Watch模式配置算子Dump Watch模式配置用于开启指定算子输出数据的观察模式。在定位部分算子精度问题且已排除算子本身的计算问题后若怀疑被其它算子踩踏内存导致精度问题可开启Dump Watch模式。默认不开启Dump Watch模式。将dump_scene参数设置为watcher开启算子Dump Watch模式配置文件中的示例内容如下配置效果为1当执行完A算子、B算子时会把C算子和D算子的输出Dump出来2当执行完C算子、D算子时也会把C算子和D算子的输出Dump出来。将1、2中的C算子、D算子的Dump文件进行比较用于排查A算子、B算子是否会踩踏C算子、D算子的输出内存。{ dump:{ dump_list:[ { layer:[A, B], watcher_nodes:[C, D] } ], dump_path:/home/, dump_mode:output, dump_scene:watcher } }详细配置说明及约束如下若开启算子Dump Watch模式则不支持同时开启溢出算子Dump配置dump_debug参数或开启单算子模型Dump配置dump_op_switch参数否则报错。该模式在单算子API Dump场景下不生效。在dump_list中通过layer参数配置可能踩踏其它算子内存的算子名称通过watcher_nodes参数配置可能被其它算子踩踏输出内存导致精度有问题的算子名称。若不指定layer则模型内所有支持Dump的算子在执行后都会将watcher_nodes中配置的算子的输出Dump出来。layer和watcher_nodes处配置的算子都必须是静态图、静态子图中的算子否则不生效。若layer和watcher_nodes处配置的算子名称相同或者layer处配置的是集合通信类算子算子类型以Hcom开头例如HcomAllReduce则只导出watcher_nodes中所配置算子的dump文件。对于融合算子watcher_nodes处配置的算子名称必须是融合后的算子名称若配置融合前的算子名称则不导出dump文件。dump_list内暂不支持配置model_name。开启算子Dump Watch模式则dump_path必须配置表示导出dump文件的存储路径。此处收集的dump文件无法通过文本工具直接查看其内容若需查看dump文件内容先将dump文件转换为numpy格式文件后再通过Python查看numpy格式文件详细转换步骤请参见《精度调试工具用户指南》。dump_path支持配置绝对路径或相对路径绝对路径配置以“/“开头例如/home。相对路径配置直接以目录名开始例如output。通过dump_mode参数控制导出watcher_nodes中所配置算子的哪部分数据当前仅支持配置为output。算子Kernel调测信息Dump配置算子Kernel调测信息Dump配置用于导出Ascend C算子Kernel的调测信息便于定位算子问题。默认不启用该Dump配置。仅如下型号支持该配置Ascend 950PR/Ascend 950DTAtlas A3 训练系列产品/Atlas A3 推理系列产品Atlas A2 训练系列产品/Atlas A2 推理系列产品配置dump_kernel_data参数开启算子Kernel调测信息Dump功能配置文件中的示例如下{ dump:{ dump_kernel_data:printf,assert, dump_path:/home/ } }详细配置说明及约束如下dump_kernel_data指定导出数据的类型支持配置多个类型用英文逗号隔开。如果未配置该字段但启用了模型Dump配置、单算子Dump配置则默认按all导出调测信息。当前支持如下类型all导出以下所有类型调测的输出数据。printf导出通过AscendC::printf调测的输出数据。tensor导出通过AscendC::DumpTensor调测的输出数据。assert导出通过assert/ascendc_assert调测的输出数据。timestamp导出通过AscendC::PrintTimeStamp调测的输出数据。dump_path启用算子Kernel调测信息Dump功能时dump_path必须配置表示导出Dump文件的存储路径支持配置绝对路径或相对路径。Dump文件存储路径的优先级如下ASCEND_DUMP_PATH环境变量 ASCEND_WORK_PATH环境变量 配置文件中的dump_path环境变量的详细描述请参见《环境变量参考》。导出的Dump文件无法通过文本工具直接查看其内容若需查看需使用show_kernel_debug_data工具将调测信息解析为可读格式工具使用指导请参见《Ascend C算子开发指南》。参考资源当前还提供了aclInit接口在初始化阶段通过*.json文件传入Dump配置信息运行应用后获取Dump数据的方式。该种方式一个进程内只能调用一次aclInit接口如果要修改Dump配置信息需修改*.json文件中的配置。acldumpRegCallbackaclError acldumpRegCallback(int32_t (* const messageCallback)(const acldumpChunk *, int32_t len), int32_t flag)产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品/Atlas A3 推理系列产品√Atlas A2 训练系列产品/Atlas A2 推理系列产品√功能说明Dump数据回调函数注册接口。aclmdlInitDump接口、acldumpRegCallback接口通过该接口注册的回调函数需由用户自行实现回调函数实现逻辑中包括获取Dump数据及数据长度、acldumpUnregCallback接口、aclmdlFinalizeDump接口配合使用用于通过回调函数获取Dump数据。场景举例如下执行一个模型通过回调获取Dump数据支持以下两种方式在aclInit接口处不启用模型Dump配置、单算子Dump配置aclInit接口--aclmdlInitDump接口--acldumpRegCallback接口--模型加载--模型执行--acldumpUnregCallback接口--aclmdlFinalizeDump接口--模型卸载--aclFinalize接口在aclInit接口处启用模型Dump配置、单算子Dump配置在aclInit接口处启用Dump配置时需配置落盘路径但如果调用了acldumpRegCallback接口则落盘不生效以回调函数获取的Dump数据为准aclInit接口--acldumpRegCallback接口--模型加载--模型执行--acldumpUnregCallback接口--模型卸载--aclFinalize接口执行两个不同的模型通过回调获取Dump数据该场景下只要不调用acldumpUnregCallback接口取消注册回调函数则可通过回调函数获取两个模型的Dump数据aclInit接口--aclmdlInitDump接口--acldumpRegCallback接口--模型1加载--模型1执行----模型2加载--模型2执行--acldumpUnregCallback接口--aclmdlFinalizeDump接口--模型卸载--aclFinalize接口参数说明参数名输入/输出说明messageCallback输入回调函数指针用于接收回调数据的回调。- acldumpChunk结构体的定义如下在实现messageCallback回调函数时可以获取acldumpChunk结构体中的dataBuf、bufLen等参数值用于获取Dump数据及其数据长度typedef struct acldumpChunk {char fileName[ACL_DUMP_MAX_FILE_PATH_LENGTH]; // 待落盘的Dump数据文件名ACL_DUMP_MAX_FILE_PATH_LENGTH表示文件名最大长度当前为4096uint32_t bufLen; // dataBuf数据长度单位Byteuint32_t isLastChunk; // 标识Dump数据是否为最后一个分片0表示不是最后一个分片1表示最后一个分片int64_t offset; // Dump数据文件内容的偏移其中-1表示文件追加内容int32_t flag; // 预留Dump数据标识当前数据无标识uint8_t dataBuf[0]; // Dump数据的内存地址} acldumpChunk;- len表示acldumpChunk结构体的长度单位Byte。flag输入在调用回调接口后是否还落盘dump数据- 0不落盘当前仅支持0返回值说明返回0表示成功返回其他值表示失败请参见aclError。acldumpUnregCallbackvoid acldumpUnregCallback()产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品/Atlas A3 推理系列产品√Atlas A2 训练系列产品/Atlas A2 推理系列产品√功能说明Dump数据回调函数取消注册接口。acldumpUnregCallback需要和acldumpRegCallback配合使用且必须在acldumpRegCallback调用后才有效。aclmdlInitDump接口、acldumpRegCallback接口通过该接口注册的回调函数需由用户自行实现回调函数实现逻辑中包括获取Dump数据及数据长度、acldumpUnregCallback接口、aclmdlFinalizeDump接口配合使用用于通过回调函数获取Dump数据。场景举例如下执行一个模型通过回调获取Dump数据aclInit接口--acldumpRegCallback接口--aclmdlInitDump接口--模型加载--模型执行--aclmdlFinalizeDump接口--acldumpUnregCallback接口--模型卸载--aclFinalize接口执行两个不同的模型通过回调获取Dump数据该场景下只要不调用acldumpUnregCallback接口取消注册回调函数则可通过回调函数获取两个模型的Dump数据aclInit接口--acldumpRegCallback接口--aclmdlInitDump接口--模型1加载--模型1执行----模型2加载--模型2执行--aclmdlFinalizeDump接口--模型卸载--acldumpUnregCallback接口--aclFinalize接口参数说明无返回值说明无acldumpGetPathconst char* acldumpGetPath(acldumpType dumpType)产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品/Atlas A3 推理系列产品√Atlas A2 训练系列产品/Atlas A2 推理系列产品√功能说明获取Dump数据存放路径以便用户将自定维测数据保存到该路径下。在调用本接口前需通过aclmdlInitDump接口初始化Dump功能、通过aclmdlSetDump接口配置Dump信息或者直接通过aclInit接口配置Dump信息。参数说明参数名输入/输出说明dumpType输入Dump类型。类型定义请参见acldumpType。返回值说明返回Dump数据的路径。如果返回空指针则表示未查询到Dump路径。aclmdlFinalizeDumpaclError aclmdlFinalizeDump()产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品/Atlas A3 推理系列产品√Atlas A2 训练系列产品/Atlas A2 推理系列产品√功能说明Dump去初始化。本接口需与其它接口配合使用实现以下功能Dump数据落盘到文件aclmdlInitDump接口、aclmdlSetDump接口、aclmdlFinalizeDump接口配合使用用于将Dump数据记录到文件中。一个进程内可以根据需求多次调用这些接口基于不同的Dump配置信息获取Dump数据。场景举例如下执行两个不同的模型需要设置不同的Dump配置信息接口调用顺序aclInit接口--aclmdlInitDump接口--aclmdlSetDump接口--模型1加载--模型1执行--aclmdlFinalizeDump接口--模型1卸载--aclmdlInitDump接口--aclmdlSetDump接口--模型2加载--模型2执行--aclmdlFinalizeDump接口--模型2卸载--执行其它任务--aclFinalize接口同一个模型执行两次第一次需要Dump第二次无需Dump接口调用顺序aclInit接口--aclmdlInitDump接口--aclmdlSetDump接口--模型加载--模型执行--aclmdlFinalizeDump接口--模型卸载--模型加载--模型执行--执行其它任务--aclFinalize接口Dump数据不落盘到文件直接通过回调函数获取aclmdlInitDump接口、acldumpRegCallback接口通过该接口注册的回调函数需由用户自行实现回调函数实现逻辑中包括获取Dump数据及数据长度、acldumpUnregCallback接口、aclmdlFinalizeDump接口配合使用用于通过回调函数获取Dump数据。场景举例如下执行一个模型通过回调获取Dump数据aclInit接口--acldumpRegCallback接口--aclmdlInitDump接口--模型加载--模型执行--aclmdlFinalizeDump接口--acldumpUnregCallback接口--模型卸载--aclFinalize接口执行两个不同的模型通过回调获取Dump数据该场景下只要不调用acldumpUnregCallback接口取消注册回调函数则可通过回调函数获取两个模型的Dump数据aclInit接口--acldumpRegCallback接口--aclmdlInitDump接口--模型1加载--模型1执行----模型2加载--模型2执行--aclmdlFinalizeDump接口--模型卸载--acldumpUnregCallback接口--aclFinalize接口参数说明无返回值说明返回0表示成功返回其他值表示失败请参见aclError。参考资源当前还提供了aclInit接口在初始化阶段通过*.json文件传入Dump配置信息运行应用后获取Dump数据的方式。该种方式一个进程内只能调用一次aclInit接口如果要修改Dump配置信息需修改*.json文件中的配置。aclopStartDumpArgsaclError aclopStartDumpArgs(uint32_t dumpType, const char *path)产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品/Atlas A3 推理系列产品√Atlas A2 训练系列产品/Atlas A2 推理系列产品√功能说明调用本接口开启算子信息统计功能并需与aclopStopDumpArgs接口配合使用将算子信息文件输出到path参数指定的目录一个shape对应一个算子信息文件文件中包含算子类型、算子属性、算子输入输出的format/数据类型/shape等信息。**使用场景**例如要统计某个模型执行涉及哪些算子可在模型执行之前调用aclopStartDumpArgs接口在模型执行之后调用aclopStopDumpArgs接口接口调用成功后在path参数指定的目录下生成每个算子shape的算子信息文件。参数说明参数名输入/输出说明dumpType输入指定dump信息的类型。当前仅支持ACL_OP_DUMP_OP_AICORE_ARGS表示统计所有算子信息。#define ACL_OP_DUMP_OP_AICORE_ARGS 0x00000001Upath输入指定dump文件的保存路径支持绝对路径或相对路径指相对应用可执行文件所在的目录但用户需确保路径存在或者该路径可以被创建。返回值说明返回0表示成功返回其他值表示失败请参见aclError。约束说明仅支持在单算子API执行例如接口名前缀为aclnn的接口场景下使用本接口否则无法生成dump文件。aclopStopDumpArgsaclError aclopStopDumpArgs(uint32_t dumpType)产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品/Atlas A3 推理系列产品√Atlas A2 训练系列产品/Atlas A2 推理系列产品√功能说明调用本接口关闭算子信息统计功能并需与aclopStartDumpArgs接口配合使用将算子信息文件输出到path参数指定的目录一个shape对应一个算子信息文件文件中包含算子类型、算子属性、算子输入输出的format/数据类型/shape等信息。**使用场景**例如要统计某个模型执行涉及哪些算子可在模型执行之前调用aclopStartDumpArgs接口在模型执行之后调用aclopStopDumpArgs接口接口调用成功后在path参数指定的目录下生成每个算子shape的算子信息文件。参数说明参数名输入/输出说明dumpType输入指定dump信息的类型。当前仅支持ACL_OP_DUMP_OP_AICORE_ARGS表示统计所有算子信息。#define ACL_OP_DUMP_OP_AICORE_ARGS 0x00000001U返回值说明返回0表示成功返回其他值表示失败请参见aclError。约束说明仅支持在单算子API执行例如接口名前缀为aclnn的接口场景下使用本接口否则无法生成dump文件。【免费下载链接】runtime本项目提供CANN运行时组件和维测功能组件。项目地址: https://gitcode.com/cann/runtime创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
