01-PyTorch张量操作总踩坑这5个细节90%的人忽略了

PyTorch张量操作总踩坑？这5个细节90%的人忽略了我刚学PyTorch的时候，张量操作看着简单——不就是多维数组嘛。结果真正写训练代码的时候，维度对不上、设备不匹配、内存炸了，各种莫名其妙的bug一个接一个。这篇把PyTorch张量操作里最容易踩的5个坑全讲清楚，每个都是我实打实踩过的。看完这篇，你写张量相关代码至少少debug一半时间。坑1：reshape和view不是一回事很多人以为reshape就是view的别名，我用的时候也不在意，直到有一天训练突然报错：RuntimeError: view size is not compatible with input tensor's size and stride原因很简单：view要求张量在内存中是连续的（contiguous），reshape不要求。importtorch x=torch.randn(3,4)y=x.t()# 转置后内存不连续# 这行会报错# z = y.view(-1)# 这行正常工作，因为reshape会自动处理contiguousz=y.reshape(-1)# 手动变连续也行，但多了一次内存拷贝z=y.contiguous().view(-1)说白了，view是零拷贝操作，只改stride和shape不改数据，所以要求内存连续。reshape在内存连续时等价于view（零拷贝），不连续时等价于contiguous().view()（会拷贝）。我的建议：写模型代码时优先用reshape，安全又省心。只有在性能极其敏感的场景（比如训练循环里的热路径）才用view，但用之前必须确认张量是contiguous的。怎么确认？.is_contiguous()方法：print(y.is_contiguous())# False，转置后不连续print(x.is_contiguous())# True坑2：维度变换函数选哪个？permute、transpose、reshape、view这几个函数我之前经常搞混，干脆整理一张对比表：函数作用是否拷贝典型场景view改shape，不改变数据顺序否（要求contiguous）展平全连接层输入reshape改shape，不改变数据顺序可能拷贝安全版viewtranspose交换两个维度否矩阵转置permute任意重排维度顺序否NCHW→NHWC一个容易踩的坑：用transpose或permute之后，张量变成非连续的。接着调view就会报错。# 经典场景：图像通道转换img=torch.randn(1,3,224,224)# NCHW格式# 想变成NHWC给某些算子用img_nhwc=img.permute(0,2,3,1)# 维度重排# 这时候 img_nhwc 不连续！# img_nhwc.view(-1) # 报错# 正确做法flat=img_nhwc.reshape(-1)# OK大模型里的实际场景：做注意力机制时，经常需要对(batch, seq_len, heads, head_dim)做维度变换。用transpose或permute后别忘了contiguous问题。# 多头注意力里的经典操作q=torch.randn(2,8,64,