NNI：深度学习自动调优的工具箱

文章目录NNI深度学习自动调优的工具箱三大模块覆盖模型优化全流程分布式训练是亮点谁适合用 NNINNI深度学习自动调优的工具箱微软在 GitHub 上有一个 Star 数 1.4 万的项目 NNI专门解决深度学习里的一个老大难问题怎么让模型训练更高效。做深度学习的人都知道调参是个体力活。学习率设多少、网络结构怎么搭、模型太大怎么压缩这些环节每个都能折腾好几天。NNI 的定位就是把这几个环节自动化让开发者把时间花在真正有价值的地方。三大模块覆盖模型优化全流程NNI 的功能分成三块刚好对应深度学习优化的三个核心环节。第一块是超参数调优。它内置了十几种搜索算法从基础的网格搜索、随机搜索到贝叶斯优化里的 TPE、SMAC、GP 等方法都有。开发者只需要定义好参数空间和目标函数NNI 会自动帮你找最优组合。相比手动试参这种方式更系统也更容易找到全局最优解。第二块是神经架构搜索。这个功能面向的是想自动探索网络结构的研究者。它支持多种搜索策略包括 DARTS、ENAS、ProxylessNAS、SPOS 等主流方法覆盖了 multi-trial 和 one-shot 两种模式。对于不想手动设计网络结构的人来说这是一个省力的选择。第三块是模型压缩。包含剪枝和量化两个方向提供了 Level、L1 Norm、Taylor FO Weight、Movement、AGP、Auto Compress 等多种剪枝策略以及 Naive、QAT、LSQ、Observer、DoReFa、BNN 等量化方案。这些技术的目标是在保持模型精度的前提下减少参数量和计算开销。安装方式很简单一条 pip 命令就能搞定。支持 PyTorch、TensorFlow、Scikit-learn、XGBoost、LightGBM、MXNet、Caffe2 等主流框架基本覆盖了目前常用的机器学习生态。分布式训练是亮点除了算法层面的支持NNI 在训练服务这块做得比较全。本地机器、远程 SSH 服务器、Azure Machine Learning 都能直接用。如果你有 Kubernetes 环境OpenPAI、Kubeflow、FrameworkController、AdaptDL、PAI DLC 等也都支持还可以混合多种训练服务一起用。这意味着你可以把搜索任务分发到集群上跑充分利用算力资源。对于需要跑大量实验的场景这个能力很实用。配合 NNI 的 WebUI你可以实时查看实验进度和中间结果。谁适合用 NNI如果你是做深度学习的研究人员或工程师NNI 能帮你节省大量调参时间。特别是超参数调优这块几乎所有深度学习项目都用得上。神经架构搜索和模型压缩更适合有特定优化需求的高级用户。比如模型要在移动端或边缘设备上部署就可以用 NNI 做量化压缩把模型体积降下来。微软出品的好处是文档比较完善官方提供了 PyTorch 和 TensorFlow 的快速入门教程NAS 和模型压缩也有专门的示例。社区也比较活跃GitHub 上有数百位贡献者。当然NNI 也有门槛。它需要你对自己的模型和训练流程有一定了解知道哪些参数值得调、调的范围是多少。如果完全没有深度学习基础直接上手可能会有些困难。总之NNI 是个定位清晰、功能扎实的工具解决的是深度学习工程化过程中的真实痛点。如果你还没试过自动化调参可以从 NNI 的超参数搜索入手。过程中的真实痛点。如果你还没试过自动化调参可以从 NNI 的超参数搜索入手。