在国产超算上从零部署CESM2.1.3：一个地球系统模式小白的踩坑实录与完整配置流程

国产超算平台CESM2.1.3部署全攻略从环境配置到案例创建实战指南1. 环境准备与依赖检查在国产超算平台上部署CESMCommunity Earth System Model需要特别注意系统环境的特殊性。与常规Linux服务器不同超算平台通常采用模块化环境管理且网络环境可能存在限制。以下是关键准备步骤基础工具验证# 检查基础工具版本 which git git --version which svn svn --version perl -v make --version模块系统检查# 查看可用模块 module avail # 加载必要基础模块 module purge module load compiler/intel/2017.5.239 module load mpi/hpcx/2.7.4/intel-2017.5.239关键依赖清单依赖项验证命令推荐版本Intel编译器icc --version≥2017HPCX MPImpirun --version≥2.7NetCDF库ncdump --version4.4.1PnetCDFpnetcdf_version1.12.1提示部分超算平台需要先加载基础环境模块才能使用上述命令若遇到command not found错误应先检查模块加载情况。2. 源码获取与组件下载CESM2采用分仓库管理模式主仓库只包含框架代码各组件通过外部引用方式管理。在特殊网络环境下需要特别注意替代克隆方案# 设置Git参数避免SSL验证问题 git config --global http.sslVerify false git config --global url.https://.insteadOf git:// # 克隆主仓库指定release分支 git clone -b release-cesm2.1.3 https://github.com/ESCOMP/CESM.git my_cesm_sandbox cd my_cesm_sandbox组件下载异常处理 当checkout_externals执行失败时可尝试分步下载手动创建components目录逐个克隆子组件仓库再次运行检查脚本组件状态验证# 检查所有组件下载状态 ./manage_externals/checkout_externals -S # 预期输出应包含所有组件路径 # ./cime # ./components/cam # ./components/clm # ...其他组件路径3. 机器配置文件深度定制国产超算平台需要特殊配置config_machines.xml和config_compilers.xml关键配置项如下机器配置文件示例machine MACHCAS-ESM DESC中科院超算中心环境配置/DESC NODENAME_REGEXlogin\d/NODENAME_REGEX OSLINUX/OS COMPILERSintel/COMPILERS MPILIBSintelmpi/MPILIBS CIME_OUTPUT_ROOT${HOME}/cesm_output/CIME_OUTPUT_ROOT DIN_LOC_ROOT${HOME}/cesm_inputdata/DIN_LOC_ROOT MAX_TASKS_PER_NODE64/MAX_TASKS_PER_NODE module_system typemodule modules compilerintel command nameloadcompiler/intel/2017.5.239/command command nameloadmpi/hpcx/2.7.4/intel-2017.5.239/command /modules /module_system /machine编译器优化配置compiler COMPILERintel MACHCAS-ESM FFLAGS base-qno-opt-dynamic-align -convert big_endian -assume byterecl/base append DEBUGFALSE-O2 -debug minimal/append /FFLAGS MPIFCmpiifort/MPIFC SLIBS append MPILIBintelmpi-mklcluster/append /SLIBS /compiler配置文件验证命令# 验证XML文件格式正确性 xmllint --noout --schema $CIMEROOT/config/xml_schemas/config_machines.xsd config_machines.xml xmllint --noout --schema $CIMEROOT/config/xml_schemas/config_compilers_v2.xsd config_compilers.xml4. 案例创建与排错实战成功创建案例是验证环境配置的关键步骤以下是完整流程基础案例创建# 进入脚本目录 cd $CIMEROOT/scripts # 创建测试案例 ./create_newcase \ --case FHIST_f19 \ --res f19_f19 \ --compset FHIST \ --compiler intel \ --mach CAS-ESM \ --run-unsupported常见错误解决方案机器识别失败检查NODENAME_REGEX是否匹配计算节点名称模式确认配置文件存放路径为~/.cime/XML解析错误# 典型错误mismatched tag # 使用xmllint检查XML文件结构 xmllint --noout config_machines.xml模块加载问题在config_machines.xml中设置allow_errortrue或在提交作业前手动加载所需模块案例目录结构FHIST_f19/ ├── CaseDocs/ # 配置文件模板 ├── SourceMods/ # 用户修改的源代码 ├── Buildconf/ # 构建配置 ├── Tools/ # 案例管理脚本 └── env_mach_specific # 环境变量设置5. 高级配置与性能调优针对国产超算架构特点还需进行以下优化并行任务配置# 设置各组件任务数 ./xmlchange NTASKS_ATM64,NTASKS_LND32,NTASKS_ICE32 # 设置OpenMP线程数 ./xmlchange NTHRDS_ATM2,NTHRDS_OCN4内存管理优化!-- 在config_machines.xml中添加 -- environment_variables env nameOMP_STACKSIZE256M/env env nameKMP_STACKSIZE512M/env /environment_variables resource_limits resource nameRLIMIT_STACK-1/resource /resource_limits批量作业提交# 生成提交脚本 ./case.submit --batch-args-N 2 -n 128 --time24:00:00 # 直接提交作业 qsub case_run.sh经过三天反复调试最终成功的关键在于确保XML配置文件格式绝对正确节点名称正则表达式精确匹配避免空配置文件干扰模块加载顺序合理实际部署中发现超算平台的环境差异可能导致官方文档中的示例无法直接运行需要根据具体环境调整编译器选项和依赖库路径。建议在正式运行前先创建测试案例验证基础功能。