CANN/AMCT创建蒸馏模型API

create_distill_model【免费下载链接】amctAMCT是CANN提供的昇腾AI处理器亲和的模型压缩工具仓。项目地址: https://gitcode.com/cann/amct产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品/Atlas A3 推理系列产品√Atlas A2 训练系列产品/Atlas A2 推理系列产品√功能说明蒸馏接口将输入的待量化压缩的图结构按照给定的蒸馏量化配置文件进行量化处理在传入的图结构中插入量化相关的算子数据和权重的蒸馏量化层以及找N的层返回修改后可用于蒸馏的torch.nn.Module模型。函数原型compress_model create_distill_model(config_file, model, input_data)参数说明参数名输入/输出说明config_file输入含义用户生成的蒸馏量化配置文件用于指定模型network中量化层的配置情况和蒸馏结构。数据类型string使用约束该接口输入的config.json必须和create_distill_config接口输入的config.json一致model输入含义待进行蒸馏量化的原始浮点模型已加载权重。数据类型torch.nn.Moduleinput_data输入含义模型的输入数据。一个torch.tensor会被等价为tuple(torch.tensor)。数据类型tuple返回值说明修改后可用于蒸馏的torch.nn.Module模型。调用示例import amct_pytorch as amct # 建立待进行蒸馏量化的网络图结构 model build_model() model.load_state_dict(torch.load(state_dict_path)) input_data tuple([torch.randn(input_shape)]) # 生成压缩模型 compress_model amct.create_distill_model( config_json_file, model, input_data)【免费下载链接】amctAMCT是CANN提供的昇腾AI处理器亲和的模型压缩工具仓。项目地址: https://gitcode.com/cann/amct创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考