MPI_Win_allocate_shared介绍和使用

文章目录MPI_Win_allocate_shared 详解 幽灵单元Ghost Cell交换完整示例一、核心概念1. 函数作用2. 函数原型3. 关键特性二、幽灵单元Ghost Cell交换场景1. 场景说明2. 优势三、完整代码实现C语言代码逻辑四、代码关键细节解析1. 共享通信域创建2. 共享内存分配3. 邻居地址查询4. 窗口同步五、编译与运行编译MPI编译器运行同节点运行3个进程输出示例六、核心优势与适用场景优势适用场景限制总结MPI_Win_allocate_shared 详解 幽灵单元Ghost Cell交换完整示例MPI_Win_allocate_shared是MPI-3 标准引入的单边通信RMA核心函数专门用于同节点共享内存场景能让同一计算节点上的 MPI 进程直接读写彼此的内存无需消息传递性能远高于传统MPI_Send/Recv。一、核心概念1. 函数作用为**共享内存通信域通常是同一节点**内的所有进程集体分配一段内存调用进程拥有本地内存段可直接读写同节点其他进程可通过MPI 单边RMA操作直接访问这段内存无需拷贝数据直接内存访问极致高效2. 函数原型intMPI_Win_allocate_shared(MPI_Aint size,// 本地分配的内存大小字节intdisp_unit,// 地址偏移单位通常1字节对齐MPI_Info info,// 优化信息通常MPI_INFO_NULLMPI_Comm comm,// 共享内存通信域必须是节点内共享子通信域void*baseptr,// 输出本地内存段起始地址MPI_Win*win// 输出创建的共享内存窗口对象);3. 关键特性集体操作共享通信域内所有进程必须同时调用节点内有效只能在同一NUMA节点/计算节点的进程间共享零拷贝直接访问物理内存无中间缓冲区配套APIMPI_Win_shared_query查询其他进程的共享内存地址二、幽灵单元Ghost Cell交换场景1. 场景说明一维区域分解每个进程负责一段主数据data[1]~data[size]左右各1个幽灵单元data[0]左幽灵data[size1]右幽灵需求左幽灵 ← 左邻居的最后一个主数据右幽灵 ← 右邻居的第一个主数据2. 优势传统MPI需要Send/Recv收发数据而MPI_Win_allocate_shared直接内存读写无消息开销代码更简洁适合同节点并行三、完整代码实现C语言代码逻辑创建节点内共享内存通信域comm_shm用MPI_Win_allocate_shared分配带幽灵单元的共享数组用MPI_Win_shared_query获取邻居的共享内存地址直接内存赋值完成幽灵单元交换无MPI收发同步窗口、释放资源#includestdio.h#includestdlib.h#includempi.h// 每个进程的主数据长度不含幽灵单元#defineDATA_SIZE4intmain(intargc,char**argv){MPI_Init(argc,argv);intrank,size;MPI_Comm_rank(MPI_COMM_WORLD,rank);MPI_Comm_size(MPI_COMM_WORLD,size);// 步骤1创建节点内共享内存通信域 MPI_Comm comm_shm;// 按物理节点拆分通信域同节点进程在同一个comm_shm中MPI_Comm_split_type(MPI_COMM_WORLD,MPI_COMM_TYPE_SHARED,// 按共享内存节点拆分rank,MPI_INFO_NULL,comm_shm);intshm_rank,shm_size;MPI_Comm_rank(comm_shm,shm_rank);MPI_Comm_size(comm_shm,shm_size);// 步骤2分配共享内存含2个幽灵单元 // 总长度左幽灵(1) 主数据(DATA_SIZE) 右幽灵(1)inttotal_lenDATA_SIZE2;MPI_Aint shm_size_bytestotal_len*sizeof(int);// 总字节数int*local_data;// 本地共享内存指针MPI_Win shm_win;// 共享内存窗口// 集体分配共享内存MPI_Win_allocate_shared(shm_size_bytes,// 本地内存大小sizeof(int),// 偏移单位按int对齐MPI_INFO_NULL,comm_shm,local_data,// 输出本地内存地址shm_win// 输出窗口);// 步骤3初始化本地数据 // local_data[0] 左幽灵单元// local_data[1~DATA_SIZE] 主数据// local_data[DATA_SIZE1] 右幽灵单元for(inti1;iDATA_SIZE;i){local_data[i]rank*10i;// 方便识别数据归属}local_data[0]-1;// 初始左幽灵local_data[DATA_SIZE1]-1;// 初始右幽灵// 步骤4获取左右邻居的共享内存地址 intleft_rank(shm_rank-1shm_size)%shm_size;// 左邻居intright_rank(shm_rank1)%shm_size;// 右邻居int*left_neigh_dataNULL;// 左邻居共享内存地址int*right_neigh_dataNULL;// 右邻居共享内存地址MPI_Aint query_size;intquery_disp_unit;// 查询左邻居的共享内存基地址MPI_Win_shared_query(shm_win,left_rank,query_size,query_disp_unit,left_neigh_data);// 查询右邻居的共享内存基地址MPI_Win_shared_query(shm_win,right_rank,query_size,query_disp_unit,right_neigh_data);// 步骤5直接内存交换幽灵单元核心 // 开启RMA访问窗口MPI_Win_fence(0,shm_win);// 1. 左幽灵 左邻居的最后一个主数据local_data[0]left_neigh_data[DATA_SIZE];// 2. 右幽灵 右邻居的第一个主数据local_data[DATA_SIZE1]right_neigh_data[1];// 同步所有进程的内存访问MPI_Win_fence(0,shm_win);// 步骤6打印结果 printf([进程 %d] 数据幽灵左%d, 主数据[%d,%d,%d,%d], 幽灵右%d\n,rank,local_data[0],local_data[1],local_data[2],local_data[3],local_data[4],local_data[DATA_SIZE1]);// 步骤7释放资源 MPI_Win_free(shm_win);MPI_Comm_free(comm_shm);MPI_Finalize();return0;}四、代码关键细节解析1. 共享通信域创建MPI_Comm_split_type(..., MPI_COMM_TYPE_SHARED, ...)自动将全局通信域拆分为物理节点内的子通信域只有同节点进程能共享内存跨节点不支持2. 共享内存分配MPI_Win_allocate_shared第二个参数disp_unitsizeof(int)地址偏移按int单位计算更安全local_data是本地直接可用的指针和普通数组无区别3. 邻居地址查询MPI_Win_shared_query输入窗口目标进程rank输出目标进程的共享内存起始指针拿到指针后直接赋值即可交换数据无任何MPI收发4. 窗口同步MPI_Win_fence集体同步函数确保所有进程的内存访问完成必须在共享内存读写前后调用保证数据一致性五、编译与运行编译MPI编译器mpicc-oshm_ghost shm_ghost.c运行同节点运行3个进程mpirun-n3./shm_ghost输出示例[进程 0] 数据幽灵左24, 主数据[1,2,3,4], 幽灵右11 [进程 1] 数据幽灵左4, 主数据[11,12,13,14], 幽灵右21 [进程 2] 数据幽灵左14, 主数据[21,22,23,24], 幽灵右1进程0的左幽灵进程2的最后一个主数据24进程0的右幽灵进程1的第一个主数据11幽灵单元交换完成六、核心优势与适用场景优势性能极高零拷贝、直接内存访问比Send/Recv快5~10倍代码简洁无需处理消息收发、标签、匹配问题原生支持MPI-3标准主流MPI库OpenMPI、MPICH全支持适用场景同节点多进程并行CPU多核、节点内并行数值模拟幽灵单元交换、边界数据更新共享内存架构下的高频数据交互限制仅支持同一物理节点的进程跨节点必须配合传统MPI通信必须集体调用不能单独执行总结MPI_Win_allocate_shared是节点内共享内存单边通信的最优方案幽灵单元交换查询邻居地址 → 直接内存赋值 → 窗口同步无收发代码可直接用于一维/二维/三维数值模拟的边界数据交换同节点场景下性能远超传统MPI点对点通信