Python样例使用指导【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge目录结构├── README.md 样例使用指导 ├── config │ ├── model_generator.py 生成用例所需的模型的脚本 │ ├── add_func.json 用例中udf配置文件 │ ├── add_graph.json 用例中计算图编译配置文件 │ ├── data_flow_deploy_info.json sample_udf_python用例中部署位置配置文件 │ ├── multi_model_deploy.json sample_multiple_model用例中部署位置配置文件 │ ├── sample_npu_model_deploy_info.json sample_npu_model用例中部署位置配置文件 │ ├── sample_pytorch_deploy_info.json sample_pytorch用例中部署位置配置文件 │ └── invoke_func.json 用例中udf_call_nn的编译配置文件 ├── sample_base.py 该样例展示了基本的DataFlow API构图包含UDFGraphPp和UDF执行NN推理三种类型节点的构造和执行 ├── sample_udf_python.py 该样例展示了python dataflow调用 udf python的过程 ├── sample_exception.py 该样例展示了使能异常上报的样例 ├── sample_pytorch.py 该样例展示了DataFlow结合pytorch进行模型的在线推理 ├── sample_npu_model.py 该样例展示了DataFlow在线推理时udf使用分别npu_model实现模型下沉和数据下沉场景 ├── sample_multiple_model.py 该样例将pytorch模型直接通过装饰器构造成funcPp同时和执行onnx模型/pb模型的GraphPp进行串接 ├── sample_perf.py 该样例为性能打点样例 ├── udf_py │ ├── udf_add.py 使用python实现udf多func功能 │ └── udf_control.py 使用python实现udf功能用于控制udf_add中多func实际执行的func └── udf_py_ws_sample 完整样例用于说明python udf实现 ├── CMakeLists.txt udf python完整工程cmake文件样例 ├── func_add.json udf python完整工程配置文件样例 ├── src_cpp │ └── func_add.cpp udf python完整工程C源码文件样例 └── src_python └── func_add.py udf python完整工程python源码文件样例环境准备参考环境准备下载安装驱动/固件/CANN软件包python 版本要求python3.11 具体版本以dataflow wheel包编译时用的python版本为准如果需要使用不同python版本可以参考编译重新编译ge_compiler包并安装config目录下的模型生成脚本 model_generator.py 依赖tensorflow-cpu和onnx需通过 pip3 install tensorflow-cpu 和 pip3 install onnx 安装sample_pytorch.py、sample_npu_model.py 样例依赖torch_npu和torchvision包torch_npu需要根据实际环境安装对应的torch与torch_npu包(建议使用大于等于2.1.0的版本 获取方法)torchvision与torch有配套关系需要等torch安装完之后使用pip3 install torchvision安装。运行样例下文中numa_config.json文件配置参考numa_config字段说明及样例# 执行config目录下的tensorflow原始模型生成脚本 python3 config/model_generator.py # 执行结束后在config目录下生成add.pb模型和simple_model.onnx模型 # 可选 export ASCEND_GLOBAL_LOG_LEVEL3 #0 debug 1 info 2 warn 3 error 不设置默认error级别 # 必选 source {HOME}/Ascend/cann/set_env.sh #{HOME}为CANN软件包安装目录请根据实际安装路径进行替换 export RESOURCE_CONFIG_PATHxxx/xxx/xxx/numa_config.json python3.11 sample_base.py python3.11 sample_udf_python.py python3.11 sample_exception.py python3.11 sample_pytorch.py python3.11 sample_npu_model.py python3.11 sample_multiple_model.py python3.11 sample_perf.py # unset此环境变量防止影响非dflow用例 unset RESOURCE_CONFIG_PATH【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Python样例使用指导
Python样例使用指导【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge目录结构├── README.md 样例使用指导 ├── config │ ├── model_generator.py 生成用例所需的模型的脚本 │ ├── add_func.json 用例中udf配置文件 │ ├── add_graph.json 用例中计算图编译配置文件 │ ├── data_flow_deploy_info.json sample_udf_python用例中部署位置配置文件 │ ├── multi_model_deploy.json sample_multiple_model用例中部署位置配置文件 │ ├── sample_npu_model_deploy_info.json sample_npu_model用例中部署位置配置文件 │ ├── sample_pytorch_deploy_info.json sample_pytorch用例中部署位置配置文件 │ └── invoke_func.json 用例中udf_call_nn的编译配置文件 ├── sample_base.py 该样例展示了基本的DataFlow API构图包含UDFGraphPp和UDF执行NN推理三种类型节点的构造和执行 ├── sample_udf_python.py 该样例展示了python dataflow调用 udf python的过程 ├── sample_exception.py 该样例展示了使能异常上报的样例 ├── sample_pytorch.py 该样例展示了DataFlow结合pytorch进行模型的在线推理 ├── sample_npu_model.py 该样例展示了DataFlow在线推理时udf使用分别npu_model实现模型下沉和数据下沉场景 ├── sample_multiple_model.py 该样例将pytorch模型直接通过装饰器构造成funcPp同时和执行onnx模型/pb模型的GraphPp进行串接 ├── sample_perf.py 该样例为性能打点样例 ├── udf_py │ ├── udf_add.py 使用python实现udf多func功能 │ └── udf_control.py 使用python实现udf功能用于控制udf_add中多func实际执行的func └── udf_py_ws_sample 完整样例用于说明python udf实现 ├── CMakeLists.txt udf python完整工程cmake文件样例 ├── func_add.json udf python完整工程配置文件样例 ├── src_cpp │ └── func_add.cpp udf python完整工程C源码文件样例 └── src_python └── func_add.py udf python完整工程python源码文件样例环境准备参考环境准备下载安装驱动/固件/CANN软件包python 版本要求python3.11 具体版本以dataflow wheel包编译时用的python版本为准如果需要使用不同python版本可以参考编译重新编译ge_compiler包并安装config目录下的模型生成脚本 model_generator.py 依赖tensorflow-cpu和onnx需通过 pip3 install tensorflow-cpu 和 pip3 install onnx 安装sample_pytorch.py、sample_npu_model.py 样例依赖torch_npu和torchvision包torch_npu需要根据实际环境安装对应的torch与torch_npu包(建议使用大于等于2.1.0的版本 获取方法)torchvision与torch有配套关系需要等torch安装完之后使用pip3 install torchvision安装。运行样例下文中numa_config.json文件配置参考numa_config字段说明及样例# 执行config目录下的tensorflow原始模型生成脚本 python3 config/model_generator.py # 执行结束后在config目录下生成add.pb模型和simple_model.onnx模型 # 可选 export ASCEND_GLOBAL_LOG_LEVEL3 #0 debug 1 info 2 warn 3 error 不设置默认error级别 # 必选 source {HOME}/Ascend/cann/set_env.sh #{HOME}为CANN软件包安装目录请根据实际安装路径进行替换 export RESOURCE_CONFIG_PATHxxx/xxx/xxx/numa_config.json python3.11 sample_base.py python3.11 sample_udf_python.py python3.11 sample_exception.py python3.11 sample_pytorch.py python3.11 sample_npu_model.py python3.11 sample_multiple_model.py python3.11 sample_perf.py # unset此环境变量防止影响非dflow用例 unset RESOURCE_CONFIG_PATH【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考