双机双卡训练yolov5（yolov5+pytorch+DDP+NCCL+RDMA全栈解析）

重点关注问题1、nvidia-smi topo -m 是怎么获取topo结构的调用了什么api2、以下接口有什么用怎么实现的nvmlDeveiceGetNvLinkVersionnvmlDeveiceGetNvLinkCapabilitynvmlDeveiceGetNvLinkStatenvmlDeveiceGetNvLinkErrorCounternvmlDeveiceResetNvLinkErrorCountersnvmlDeveiceGetNvLinkRemotePciInfonvmlDeveiceGetP2PStatus3、单机单进程P2P场景使用一下接口具体有什么用怎么实现的cudaDeviceCanAccessPeercudaDeviceEnablePeerAccesscudaMemcpyPeer4、以下是单机多进程P2P具体有什么用怎么实现的cudaIpcGetMemHandlecudaIpcOpenMemHandlecudaIpcCloseMemHandlecudaIpcGetEventHandlecudaIpcOpenEventHandle5、NCCL是怎么获取topo结构的6、NCCL通过nvml获取本地拓扑多机拓扑是怎么获取的呢7、pytorch如何调用DDP8、DDP如何调用NCCP9、NCCL如何调用RDMA10、怎么理解RING和TREE