
pypto.rms_norm【免费下载链接】pyptoPyPTO发音: pai p-t-oParallel Tensor/Tile Operation编程范式。项目地址: https://gitcode.com/cann/pypto产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品/Atlas A3 推理系列产品√Atlas A2 训练系列产品/Atlas A2 推理系列产品√功能说明沿最后一个维度进行根均方层归一化Root Mean Square LayerNorm, RMSNorm。如果提供了gamma则在最后一个维度上应用逐元素缩放。函数原型rms_norm(input: Tensor, gamma: Tensor None, epsilon: float 1e-6) - Tensor参数说明参数名输入/输出说明input输入源操作数。支持的数据类型为PyPto支持的数据类型。可以是任意Shape的Tensor[..., C]最后一个维度C通常表示通道数或特征数。gamma输入可选的缩放参数Shape应为 [C]。epsilon输入数值稳定性常数默认值为 1e-6。返回值说明归一化后的TensorShape与输入Tensor input相同输出Tensor将被转换回输入Tensor的原始数据类型。调用示例x pypto.tensor([2, 4], pypto.DT_FP32) gamma pypto.tensor([4], pypto.DT_FP32) y pypto.rms_norm(x, gamma)结果示例如下输入数据x: [[1, 2, 3, 4], [5, 6, 7, 8]] 输入数据gamma: [1, 1, 1, 1] 输出数据y: [[0.3651, 0.7302, 1.0954, 1.4605], [0.7580, 0.9097, 1.0613, 1.2129]]【免费下载链接】pyptoPyPTO发音: pai p-t-oParallel Tensor/Tile Operation编程范式。项目地址: https://gitcode.com/cann/pypto创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考