告别MLP手把手教你用PyKAN复现KAN论文核心实验附避坑指南在深度学习领域多层感知机MLP长期以来被视为构建神经网络的默认选择。然而最近一篇题为《KAN科尔莫戈洛夫-阿诺德网络》的论文提出了一种全新的神经网络架构挑战了这一传统认知。本文将带你深入了解KAN的核心原理并通过PyKAN库完整复现论文中的关键实验同时分享实践中的宝贵经验。1. KAN架构原理解析KANKolmogorov-Arnold Networks的灵感来源于科尔莫戈洛夫-阿诺德表示定理该定理指出任何多元连续函数都可以表示为有限数量的一元函数和加法的组合。这与MLP基于的通用逼近定理形成了鲜明对比。KAN与MLP的核心差异特性MLPKAN激活函数位置节点神经元边权重权重表示线性变换矩阵可学习的样条函数节点操作非线性激活简单求和参数效率相对较低更高KAN的创新之处在于将传统的线性权重替换为可学习的一维函数通常用B样条参数化这使得网络能够更高效地学习和表示复杂函数关系。# KAN层的基本数学表达 def KAN_layer(x, functions): x: 输入向量 functions: 边上的可学习函数矩阵 output [] for out_dim in range(functions.shape[1]): sum_val 0 for in_dim in range(functions.shape[0]): sum_val functions[in_dim][out_dim](x[in_dim]) output.append(sum_val) return output2. 环境配置与PyKAN安装复现实验的第一步是搭建合适的开发环境。PyKAN是论文作者提供的官方实现目前已经可以通过pip安装。系统要求Python ≥ 3.8PyTorch ≥ 1.10CUDA如使用GPU加速安装步骤创建并激活conda环境conda create -n pykan python3.8 conda activate pykan安装基础依赖pip install torch torchvision torchaudio安装PyKANpip install pykan注意如果在安装过程中遇到兼容性问题可以尝试从源码安装git clone https://github.com/KindXiaoming/pykan.git cd pykan pip install -e .常见安装问题解决方案CUDA版本不匹配确保安装的PyTorch版本与CUDA版本兼容依赖冲突建议使用干净的虚拟环境内存不足Colab用户可能需要升级到付费版本以获得足够资源3. 复现KAN核心实验3.1 数据拟合实验论文中展示了KAN在多种函数拟合任务上的优越性能。我们首先复现最简单的单变量函数拟合实验。import torch from pykan import KAN # 生成训练数据 x torch.linspace(-2, 2, 1000).reshape(-1, 1) y torch.sin(x**2) torch.exp(-x.abs()) # 初始化KAN模型 model KAN(width[1,1], grid5, k3) # 训练配置 optimizer torch.optim.LBFGS(model.parameters(), lr0.1) loss_fn torch.nn.MSELoss() # 训练循环 for step in range(100): def closure(): optimizer.zero_grad() pred model(x) loss loss_fn(pred, y) loss.backward() return loss optimizer.step(closure)关键调参技巧网格点数grid从较小值如5开始逐步增加样条阶数k通常3三次样条效果最佳优化器选择LBFGS通常比Adam更适合KAN训练3.2 符号回归实验KAN的一个突出优势是可解释性能够从数据中发现潜在的数学表达式。# 准备符号回归数据 x torch.rand(1000, 2) * 2 - 1 # [-1,1]均匀分布 y x[:,0]**2 torch.sin(x[:,1]) # 目标函数x1² sin(x2) # 创建并训练KAN model KAN(width[2,1], grid5) trainer KANTrainer(model) trainer.fit(x, y, steps1000) # 符号化简化 model.auto_symbolic(lib[x^2, sin]) print(model.symbolic_formula())输出示例f(x0,x1) 1.00*x0^2 0.98*sin(x1)3.3 与MLP的性能对比为了验证KAN的优越性我们设计了一个对照实验比较KAN和MLP在相同参数规模下的表现。import matplotlib.pyplot as plt from torch import nn # 准备测试函数 def target_fn(x): return torch.sin(2*x[:,0]) * torch.cos(x[:,1]) 0.5*x[:,2]**3 # 生成数据 x torch.randn(10000, 3) y target_fn(x) # 训练KAN kan KAN(width[3,5,1], grid10) kan_trainer KANTrainer(kan) kan_loss kan_trainer.fit(x, y, steps500) # 训练MLP mlp nn.Sequential( nn.Linear(3, 20), nn.SiLU(), nn.Linear(20, 20), nn.SiLU(), nn.Linear(20, 1) ) mlp_optim torch.optim.Adam(mlp.parameters()) mlp_loss [] for _ in range(500): pred mlp(x) loss nn.MSELoss()(pred, y) mlp_optim.zero_grad() loss.backward() mlp_optim.step() mlp_loss.append(loss.item()) # 绘制学习曲线 plt.plot(kan_loss, labelKAN) plt.plot(mlp_loss, labelMLP) plt.yscale(log) plt.legend() plt.show()4. 实践中的挑战与解决方案在复现KAN实验的过程中我们遇到了几个关键挑战以下是经过验证的解决方案4.1 训练不稳定性问题现象损失函数出现剧烈波动或NaN值解决方案使用更小的学习率特别是对于深层KAN尝试不同的优化器LBFGS/AdamW交替使用添加梯度裁剪torch.nn.utils.clip_grad_norm_4.2 过拟合问题现象训练损失持续下降但测试损失上升解决方案# 在KANTrainer中添加正则化 trainer KANTrainer( model, l1_reg0.001, # 稀疏性正则 entropy_reg0.01 # 熵正则 )4.3 显存不足问题现象GPU内存耗尽特别是处理高维数据时解决方案减小batch size使用grid_extension逐步增加网格点数尝试混合精度训练scaler torch.cuda.amp.GradScaler() with torch.cuda.amp.autocast(): pred model(x) loss loss_fn(pred, y) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update()5. KAN的高级应用技巧5.1 网络剪枝与简化KAN的一个独特优势是能够通过剪枝获得更简洁的网络结构。# 训练后剪枝 kan.prune() # 自动剪枝不重要连接 # 手动指定剪枝阈值 kan.prune(threshold0.01) # 只保留重要性0.01的连接 # 可视化剪枝结果 kan.draw()5.2 迁移学习与持续学习KAN的局部特性使其特别适合持续学习场景。# 第一个任务 task1_x, task1_y ... kan.fit(task1_x, task1_y) # 冻结已学习区域 for param in kan.parameters(): param.requires_grad False # 添加新节点适应新任务 kan.extend(width[kan.width[0], kan.width[-1]2, kan.width[-1]]) kan.fit(task2_x, task2_y)5.3 科学发现中的应用KAN可以辅助科学发现例如从实验数据中提取物理定律。# 假设我们有一些物理实验数据 # x: [温度, 压力, 体积], y: 观测值 phys_data load_physics_data() # 训练KAN并尝试符号化 model KAN(width[3,5,1]) model.fit(phys_data.x, phys_data.y) model.auto_symbolic(lib[exp,log,sqrt,inv]) # 检查发现的物理关系 print(model.symbolic_formula())6. 性能优化与部署建议当准备将KAN模型投入实际应用时考虑以下优化策略计算图优化# 编译模型PyTorch 2.0 optimized_kan torch.compile(kan) # 转换为TorchScript traced_kan torch.jit.trace(kan, example_inputtorch.randn(1,3))部署注意事项在边缘设备上部署时考虑量化quantized_kan torch.quantization.quantize_dynamic( kan, {torch.nn.Linear}, dtypetorch.qint8 )对于Web部署可以导出为ONNX格式torch.onnx.export(kan, torch.randn(1,3), kan_model.onnx)经过一系列实验验证KAN在多个方面展现出相对于传统MLP的优势参数效率相同精度下参数更少可解释性网络结构可视化直观发现能力能从数据中提取数学表达式持续学习避免灾难性遗忘然而KAN目前也存在训练速度较慢、对超参数更敏感等实际挑战。随着框架的不断优化和硬件加速的支持这些问题有望得到缓解。
告别MLP？手把手教你用PyKAN复现KAN论文核心实验（附避坑指南）
发布时间：2026/5/27 2:35:29
告别MLP手把手教你用PyKAN复现KAN论文核心实验附避坑指南在深度学习领域多层感知机MLP长期以来被视为构建神经网络的默认选择。然而最近一篇题为《KAN科尔莫戈洛夫-阿诺德网络》的论文提出了一种全新的神经网络架构挑战了这一传统认知。本文将带你深入了解KAN的核心原理并通过PyKAN库完整复现论文中的关键实验同时分享实践中的宝贵经验。1. KAN架构原理解析KANKolmogorov-Arnold Networks的灵感来源于科尔莫戈洛夫-阿诺德表示定理该定理指出任何多元连续函数都可以表示为有限数量的一元函数和加法的组合。这与MLP基于的通用逼近定理形成了鲜明对比。KAN与MLP的核心差异特性MLPKAN激活函数位置节点神经元边权重权重表示线性变换矩阵可学习的样条函数节点操作非线性激活简单求和参数效率相对较低更高KAN的创新之处在于将传统的线性权重替换为可学习的一维函数通常用B样条参数化这使得网络能够更高效地学习和表示复杂函数关系。# KAN层的基本数学表达 def KAN_layer(x, functions): x: 输入向量 functions: 边上的可学习函数矩阵 output [] for out_dim in range(functions.shape[1]): sum_val 0 for in_dim in range(functions.shape[0]): sum_val functions[in_dim][out_dim](x[in_dim]) output.append(sum_val) return output2. 环境配置与PyKAN安装复现实验的第一步是搭建合适的开发环境。PyKAN是论文作者提供的官方实现目前已经可以通过pip安装。系统要求Python ≥ 3.8PyTorch ≥ 1.10CUDA如使用GPU加速安装步骤创建并激活conda环境conda create -n pykan python3.8 conda activate pykan安装基础依赖pip install torch torchvision torchaudio安装PyKANpip install pykan注意如果在安装过程中遇到兼容性问题可以尝试从源码安装git clone https://github.com/KindXiaoming/pykan.git cd pykan pip install -e .常见安装问题解决方案CUDA版本不匹配确保安装的PyTorch版本与CUDA版本兼容依赖冲突建议使用干净的虚拟环境内存不足Colab用户可能需要升级到付费版本以获得足够资源3. 复现KAN核心实验3.1 数据拟合实验论文中展示了KAN在多种函数拟合任务上的优越性能。我们首先复现最简单的单变量函数拟合实验。import torch from pykan import KAN # 生成训练数据 x torch.linspace(-2, 2, 1000).reshape(-1, 1) y torch.sin(x**2) torch.exp(-x.abs()) # 初始化KAN模型 model KAN(width[1,1], grid5, k3) # 训练配置 optimizer torch.optim.LBFGS(model.parameters(), lr0.1) loss_fn torch.nn.MSELoss() # 训练循环 for step in range(100): def closure(): optimizer.zero_grad() pred model(x) loss loss_fn(pred, y) loss.backward() return loss optimizer.step(closure)关键调参技巧网格点数grid从较小值如5开始逐步增加样条阶数k通常3三次样条效果最佳优化器选择LBFGS通常比Adam更适合KAN训练3.2 符号回归实验KAN的一个突出优势是可解释性能够从数据中发现潜在的数学表达式。# 准备符号回归数据 x torch.rand(1000, 2) * 2 - 1 # [-1,1]均匀分布 y x[:,0]**2 torch.sin(x[:,1]) # 目标函数x1² sin(x2) # 创建并训练KAN model KAN(width[2,1], grid5) trainer KANTrainer(model) trainer.fit(x, y, steps1000) # 符号化简化 model.auto_symbolic(lib[x^2, sin]) print(model.symbolic_formula())输出示例f(x0,x1) 1.00*x0^2 0.98*sin(x1)3.3 与MLP的性能对比为了验证KAN的优越性我们设计了一个对照实验比较KAN和MLP在相同参数规模下的表现。import matplotlib.pyplot as plt from torch import nn # 准备测试函数 def target_fn(x): return torch.sin(2*x[:,0]) * torch.cos(x[:,1]) 0.5*x[:,2]**3 # 生成数据 x torch.randn(10000, 3) y target_fn(x) # 训练KAN kan KAN(width[3,5,1], grid10) kan_trainer KANTrainer(kan) kan_loss kan_trainer.fit(x, y, steps500) # 训练MLP mlp nn.Sequential( nn.Linear(3, 20), nn.SiLU(), nn.Linear(20, 20), nn.SiLU(), nn.Linear(20, 1) ) mlp_optim torch.optim.Adam(mlp.parameters()) mlp_loss [] for _ in range(500): pred mlp(x) loss nn.MSELoss()(pred, y) mlp_optim.zero_grad() loss.backward() mlp_optim.step() mlp_loss.append(loss.item()) # 绘制学习曲线 plt.plot(kan_loss, labelKAN) plt.plot(mlp_loss, labelMLP) plt.yscale(log) plt.legend() plt.show()4. 实践中的挑战与解决方案在复现KAN实验的过程中我们遇到了几个关键挑战以下是经过验证的解决方案4.1 训练不稳定性问题现象损失函数出现剧烈波动或NaN值解决方案使用更小的学习率特别是对于深层KAN尝试不同的优化器LBFGS/AdamW交替使用添加梯度裁剪torch.nn.utils.clip_grad_norm_4.2 过拟合问题现象训练损失持续下降但测试损失上升解决方案# 在KANTrainer中添加正则化 trainer KANTrainer( model, l1_reg0.001, # 稀疏性正则 entropy_reg0.01 # 熵正则 )4.3 显存不足问题现象GPU内存耗尽特别是处理高维数据时解决方案减小batch size使用grid_extension逐步增加网格点数尝试混合精度训练scaler torch.cuda.amp.GradScaler() with torch.cuda.amp.autocast(): pred model(x) loss loss_fn(pred, y) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update()5. KAN的高级应用技巧5.1 网络剪枝与简化KAN的一个独特优势是能够通过剪枝获得更简洁的网络结构。# 训练后剪枝 kan.prune() # 自动剪枝不重要连接 # 手动指定剪枝阈值 kan.prune(threshold0.01) # 只保留重要性0.01的连接 # 可视化剪枝结果 kan.draw()5.2 迁移学习与持续学习KAN的局部特性使其特别适合持续学习场景。# 第一个任务 task1_x, task1_y ... kan.fit(task1_x, task1_y) # 冻结已学习区域 for param in kan.parameters(): param.requires_grad False # 添加新节点适应新任务 kan.extend(width[kan.width[0], kan.width[-1]2, kan.width[-1]]) kan.fit(task2_x, task2_y)5.3 科学发现中的应用KAN可以辅助科学发现例如从实验数据中提取物理定律。# 假设我们有一些物理实验数据 # x: [温度, 压力, 体积], y: 观测值 phys_data load_physics_data() # 训练KAN并尝试符号化 model KAN(width[3,5,1]) model.fit(phys_data.x, phys_data.y) model.auto_symbolic(lib[exp,log,sqrt,inv]) # 检查发现的物理关系 print(model.symbolic_formula())6. 性能优化与部署建议当准备将KAN模型投入实际应用时考虑以下优化策略计算图优化# 编译模型PyTorch 2.0 optimized_kan torch.compile(kan) # 转换为TorchScript traced_kan torch.jit.trace(kan, example_inputtorch.randn(1,3))部署注意事项在边缘设备上部署时考虑量化quantized_kan torch.quantization.quantize_dynamic( kan, {torch.nn.Linear}, dtypetorch.qint8 )对于Web部署可以导出为ONNX格式torch.onnx.export(kan, torch.randn(1,3), kan_model.onnx)经过一系列实验验证KAN在多个方面展现出相对于传统MLP的优势参数效率相同精度下参数更少可解释性网络结构可视化直观发现能力能从数据中提取数学表达式持续学习避免灾难性遗忘然而KAN目前也存在训练速度较慢、对超参数更敏感等实际挑战。随着框架的不断优化和硬件加速的支持这些问题有望得到缓解。
详解：创建平滑页面切换)
