Neutone SDK 实战教程从训练到导出构建你的第一个TCN神经失真效果器【免费下载链接】neutone_sdkJoin the community on Discord for more discussions around Neutone! https://discord.gg/VHSMzb8Wqp项目地址: https://gitcode.com/gh_mirrors/ne/neutone_sdkNeutone SDK 是一个开源的神经音频框架它让你用纯 Python 把 PyTorch 音频模型一键封装成 DAW 实时音频效果器插件无需写一行 C。本教程将以 TCN时序卷积网络神经失真效果器为例带你完整走完「准备环境 → 理解模型 → 编写包装器 → 导出 model.nm → 性能压测 → 导入 DAW」的全过程一天之内就能让你的 AI 音频模型在宿主里跑起来。️为什么选择 Neutone SDK 做神经音频效果器传统做法是用 JUCE 这类 C 框架开发 VST 插件对 AI 音频研究者来说门槛很高。而 Neutone SDK 把这些麻烦事都封装好了能力说明自动缓冲区管理DAW 任意缓冲区大小SDK 自动排队适配采样率/声道转换任意采样率无缝运行单声道立体声自动转换控制参数Knobs最多 4 个实时旋钮直接送进模型延迟补偿自动对齐湿/干信号压测与性能剖析内置 CLI 工具测速度、延迟和 CPU 占用它提供两款免费宿主插件Neutone FX实时模型本教程的主角Neutone Gen非实时生成模型Beta 阶段快速开始安装 SDK 与插件第一步用 pip 安装 Neutone SDKpip install neutone_sdk第二步从源码运行示例推荐新手git clone https://gitcode.com/gh_mirrors/ne/neutone_sdk cd neutone_sdk第三步下载 Neutone FX 插件支持 VST3 和 AU 格式可在官网 neutone.ai/fx 获取安装后即可加载我们导出的模型文件。 建议先跑一下最简单的 example_clipper.py对应examples/neutone_fx/example_clipper.py它是一个不含神经网络的最小裁剪器示例能帮你熟悉整个封装流程。TCN 神经失真效果器模型结构速览我们的失真效果器基于examples/neutone_fx/example_overdrive-random.py中的随机初始化 TCN Overdrive 模型灵感来自 micro-tcn。它的核心组件在 SDK 内置的neutone_sdk/tcn_1d.py中TCN1DBlock因果卷积 FiLM 条件调制 批归一化 PReLU 激活 残差连接FiLM用旋钮参数对卷积特征做逐通道缩放偏移实现参数可控的音色变化膨胀率增长每层 dilation 翻倍感受野指数级扩大让网络看得更远整个OverdriveModel由 4 个 TCN 块堆叠输入单声道波形输出用tanh软限幅得到自然柔和的神经失真音色。编写模型包装器4 个关键方法SDK 的核心思想是继承WaveformToWaveformBase定义在neutone_sdk/wavform_to_wavform.py实现几个接口即可。以下是包装器的骨架完整代码见examples/neutone_fx/example_overdrive-random.pyclass OverdriveModelWrapper(WaveformToWaveformBase): torch.jit.export def is_input_mono(self) - bool: return True # 单声道进 torch.jit.export def get_native_sample_rates(self) - List[int]: return [] # 空列表 支持所有采样率 torch.jit.export def get_native_buffer_sizes(self) - List[int]: return [] # 空列表 支持所有缓冲区大小 def do_forward_pass(self, x: Tensor, params: Dict[str, Tensor]) - Tensor: # 把旋钮参数拼成条件信号送入 TCN condition torch.hstack([params[P1], params[P2]]) * params[depth] ...各方法的作用方法职责is_input_mono/is_output_mono告诉 SDK 声道格式SDK 自动做单声道⇄立体声转换get_native_sample_rates声明模型原生采样率不匹配时 SDK 自动重采样get_native_buffer_sizes声明模型原生缓冲区不匹配时 SDK 自动 FIFO 排队do_forward_pass核心接收x和旋钮参数字典返回处理后音频⚠️ 关键点SDK 保证do_forward_pass收到的x一定是你声明的采样率和缓冲区大小你只需专注写模型逻辑。添加 4 个实时旋钮让效果器可玩在do_forward_pass中params是一个字典每个旋钮对应一个 0~1 的张量。参考示例定义了 3 个旋钮SDK 上限 4 个def get_neutone_parameters(self) - List[NeutoneParameter]: return [ ContinuousNeutoneParameter(depth, Effect Depth, 0.0), ContinuousNeutoneParameter(P1, Feature modulation 1, 0.0), ContinuousNeutoneParameter(P2, Feature modulation 2, 0.0), ]这 3 个旋钮通过 FiLM 层调制卷积特征——拧一拧失真音色实时变化这就是神经失真的精髓所在。参数定义类的完整说明可参考neutone_sdk/parameter.py。如果担心输入超出训练分布还可以在neutone_sdk/filters.py中找到低通、高通、带通等预滤波器在送入模型前收窄输入信号参考examples/neutone_fx/example_overdrive-random.py同目录下的 prefilter 示例。一步导出生成 model.nm 文件训练好模型后用save_neutone_model位于neutone_sdk/utils.py一步到位model OverdriveModel() wrapper OverdriveModelWrapper(model) save_neutone_model(wrapper, root_dir, dump_samplesTrue, submissionTrue)这个函数会自动完成 5 件事✅ 把模型转换为 TorchScript✅ 生成metadata.json元数据✅ 用内置示例音频neutone_sdk/assets/default_samples/下的鼓点、Rhodes、环境声渲染试听样本✅ 运行一系列一致性校验确保模型可被插件正常加载✅submissionTrue时额外做离线模式测试和速度基准测试最终得到model.nm文件——这就是你的神经失真效果器本体。压测性能确保实时可用SDK 自带 3 个 CLI 工具源码在neutone_sdk/benchmark.py导出前务必跑一遍# 测速度1/RTF 1 才能实时运行 python -m neutone_sdk.benchmark benchmark-speed --model_file model.nm # 测延迟查看各 DAW 配置下的总延迟 python -m neutone_sdk.benchmark benchmark-latency model.nm # 剖析定位 CPU/内存瓶颈 python -m neutone_sdk.benchmark profile --model_file model.nm如何读速度结果1/RTF表示比实时快多少倍数值越大越省资源。比如1/RTF: 5.5意味着 CPU 只需花 1/5.5 的时间就能处理一个缓冲区留足了余量。延迟说明总延迟 缓冲延迟 模型延迟。如果你的模型本身有延迟如卷积对齐请在calc_model_delay_samples方法中如实上报插件会自动对齐湿干信号。在 DAW 中加载你的效果器在 DAW如 Ableton、Reaper中挂载Neutone FX插件点击插件界面中的 load your own 按钮选择你导出的model.nm文件播放音频转动 depth / P1 / P2 三个旋钮感受 TCN 神经失真的变化 至此你的第一个神经音频效果器就大功告成常见问题 FAQQ导出时报 TorchScript 错误复杂模型在 TorchScript 转换时可能出现难懂的报错。建议先在 Python 中单独测试do_forward_pass逐步简化模型结构。Q需要 lookbehind回看缓冲区怎么办重写get_look_behind_samples方法返回所需样本数即可。但官方更推荐纯卷积模型改用缓存卷积见neutone_sdk/conv.py效率更高。Q想把自己的模型开源给社区完成满意的效果后可按 README 中Submitting models一节提交model.nm文件和简短描述供所有 Neutone 插件用户使用。总结步骤关键文件学习封装流程examples/neutone_fx/example_clipper.pyTCN 失真模型与包装器examples/neutone_fx/example_overdrive-random.pyTCN 网络组件FiLM/TCN1Dneutone_sdk/tcn_1d.py包装器基类neutone_sdk/wavform_to_wavform.py导出工具neutone_sdk/utils.py性能压测工具neutone_sdk/benchmark.py预滤波器neutone_sdk/filters.pyNeutone SDK 把神经音频模型部署中最棘手的缓冲、采样率、延迟补偿全部自动化让你把 100% 的精力花在算法本身。现在就去跑通那个 Overdrive 示例感受纯 Python 构建 DAW 神经效果器的快乐吧✨【免费下载链接】neutone_sdkJoin the community on Discord for more discussions around Neutone! https://discord.gg/VHSMzb8Wqp项目地址: https://gitcode.com/gh_mirrors/ne/neutone_sdk创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Neutone SDK 实战教程：从训练到导出，构建你的第一个TCN神经失真效果器
Neutone SDK 实战教程从训练到导出构建你的第一个TCN神经失真效果器【免费下载链接】neutone_sdkJoin the community on Discord for more discussions around Neutone! https://discord.gg/VHSMzb8Wqp项目地址: https://gitcode.com/gh_mirrors/ne/neutone_sdkNeutone SDK 是一个开源的神经音频框架它让你用纯 Python 把 PyTorch 音频模型一键封装成 DAW 实时音频效果器插件无需写一行 C。本教程将以 TCN时序卷积网络神经失真效果器为例带你完整走完「准备环境 → 理解模型 → 编写包装器 → 导出 model.nm → 性能压测 → 导入 DAW」的全过程一天之内就能让你的 AI 音频模型在宿主里跑起来。️为什么选择 Neutone SDK 做神经音频效果器传统做法是用 JUCE 这类 C 框架开发 VST 插件对 AI 音频研究者来说门槛很高。而 Neutone SDK 把这些麻烦事都封装好了能力说明自动缓冲区管理DAW 任意缓冲区大小SDK 自动排队适配采样率/声道转换任意采样率无缝运行单声道立体声自动转换控制参数Knobs最多 4 个实时旋钮直接送进模型延迟补偿自动对齐湿/干信号压测与性能剖析内置 CLI 工具测速度、延迟和 CPU 占用它提供两款免费宿主插件Neutone FX实时模型本教程的主角Neutone Gen非实时生成模型Beta 阶段快速开始安装 SDK 与插件第一步用 pip 安装 Neutone SDKpip install neutone_sdk第二步从源码运行示例推荐新手git clone https://gitcode.com/gh_mirrors/ne/neutone_sdk cd neutone_sdk第三步下载 Neutone FX 插件支持 VST3 和 AU 格式可在官网 neutone.ai/fx 获取安装后即可加载我们导出的模型文件。 建议先跑一下最简单的 example_clipper.py对应examples/neutone_fx/example_clipper.py它是一个不含神经网络的最小裁剪器示例能帮你熟悉整个封装流程。TCN 神经失真效果器模型结构速览我们的失真效果器基于examples/neutone_fx/example_overdrive-random.py中的随机初始化 TCN Overdrive 模型灵感来自 micro-tcn。它的核心组件在 SDK 内置的neutone_sdk/tcn_1d.py中TCN1DBlock因果卷积 FiLM 条件调制 批归一化 PReLU 激活 残差连接FiLM用旋钮参数对卷积特征做逐通道缩放偏移实现参数可控的音色变化膨胀率增长每层 dilation 翻倍感受野指数级扩大让网络看得更远整个OverdriveModel由 4 个 TCN 块堆叠输入单声道波形输出用tanh软限幅得到自然柔和的神经失真音色。编写模型包装器4 个关键方法SDK 的核心思想是继承WaveformToWaveformBase定义在neutone_sdk/wavform_to_wavform.py实现几个接口即可。以下是包装器的骨架完整代码见examples/neutone_fx/example_overdrive-random.pyclass OverdriveModelWrapper(WaveformToWaveformBase): torch.jit.export def is_input_mono(self) - bool: return True # 单声道进 torch.jit.export def get_native_sample_rates(self) - List[int]: return [] # 空列表 支持所有采样率 torch.jit.export def get_native_buffer_sizes(self) - List[int]: return [] # 空列表 支持所有缓冲区大小 def do_forward_pass(self, x: Tensor, params: Dict[str, Tensor]) - Tensor: # 把旋钮参数拼成条件信号送入 TCN condition torch.hstack([params[P1], params[P2]]) * params[depth] ...各方法的作用方法职责is_input_mono/is_output_mono告诉 SDK 声道格式SDK 自动做单声道⇄立体声转换get_native_sample_rates声明模型原生采样率不匹配时 SDK 自动重采样get_native_buffer_sizes声明模型原生缓冲区不匹配时 SDK 自动 FIFO 排队do_forward_pass核心接收x和旋钮参数字典返回处理后音频⚠️ 关键点SDK 保证do_forward_pass收到的x一定是你声明的采样率和缓冲区大小你只需专注写模型逻辑。添加 4 个实时旋钮让效果器可玩在do_forward_pass中params是一个字典每个旋钮对应一个 0~1 的张量。参考示例定义了 3 个旋钮SDK 上限 4 个def get_neutone_parameters(self) - List[NeutoneParameter]: return [ ContinuousNeutoneParameter(depth, Effect Depth, 0.0), ContinuousNeutoneParameter(P1, Feature modulation 1, 0.0), ContinuousNeutoneParameter(P2, Feature modulation 2, 0.0), ]这 3 个旋钮通过 FiLM 层调制卷积特征——拧一拧失真音色实时变化这就是神经失真的精髓所在。参数定义类的完整说明可参考neutone_sdk/parameter.py。如果担心输入超出训练分布还可以在neutone_sdk/filters.py中找到低通、高通、带通等预滤波器在送入模型前收窄输入信号参考examples/neutone_fx/example_overdrive-random.py同目录下的 prefilter 示例。一步导出生成 model.nm 文件训练好模型后用save_neutone_model位于neutone_sdk/utils.py一步到位model OverdriveModel() wrapper OverdriveModelWrapper(model) save_neutone_model(wrapper, root_dir, dump_samplesTrue, submissionTrue)这个函数会自动完成 5 件事✅ 把模型转换为 TorchScript✅ 生成metadata.json元数据✅ 用内置示例音频neutone_sdk/assets/default_samples/下的鼓点、Rhodes、环境声渲染试听样本✅ 运行一系列一致性校验确保模型可被插件正常加载✅submissionTrue时额外做离线模式测试和速度基准测试最终得到model.nm文件——这就是你的神经失真效果器本体。压测性能确保实时可用SDK 自带 3 个 CLI 工具源码在neutone_sdk/benchmark.py导出前务必跑一遍# 测速度1/RTF 1 才能实时运行 python -m neutone_sdk.benchmark benchmark-speed --model_file model.nm # 测延迟查看各 DAW 配置下的总延迟 python -m neutone_sdk.benchmark benchmark-latency model.nm # 剖析定位 CPU/内存瓶颈 python -m neutone_sdk.benchmark profile --model_file model.nm如何读速度结果1/RTF表示比实时快多少倍数值越大越省资源。比如1/RTF: 5.5意味着 CPU 只需花 1/5.5 的时间就能处理一个缓冲区留足了余量。延迟说明总延迟 缓冲延迟 模型延迟。如果你的模型本身有延迟如卷积对齐请在calc_model_delay_samples方法中如实上报插件会自动对齐湿干信号。在 DAW 中加载你的效果器在 DAW如 Ableton、Reaper中挂载Neutone FX插件点击插件界面中的 load your own 按钮选择你导出的model.nm文件播放音频转动 depth / P1 / P2 三个旋钮感受 TCN 神经失真的变化 至此你的第一个神经音频效果器就大功告成常见问题 FAQQ导出时报 TorchScript 错误复杂模型在 TorchScript 转换时可能出现难懂的报错。建议先在 Python 中单独测试do_forward_pass逐步简化模型结构。Q需要 lookbehind回看缓冲区怎么办重写get_look_behind_samples方法返回所需样本数即可。但官方更推荐纯卷积模型改用缓存卷积见neutone_sdk/conv.py效率更高。Q想把自己的模型开源给社区完成满意的效果后可按 README 中Submitting models一节提交model.nm文件和简短描述供所有 Neutone 插件用户使用。总结步骤关键文件学习封装流程examples/neutone_fx/example_clipper.pyTCN 失真模型与包装器examples/neutone_fx/example_overdrive-random.pyTCN 网络组件FiLM/TCN1Dneutone_sdk/tcn_1d.py包装器基类neutone_sdk/wavform_to_wavform.py导出工具neutone_sdk/utils.py性能压测工具neutone_sdk/benchmark.py预滤波器neutone_sdk/filters.pyNeutone SDK 把神经音频模型部署中最棘手的缓冲、采样率、延迟补偿全部自动化让你把 100% 的精力花在算法本身。现在就去跑通那个 Overdrive 示例感受纯 Python 构建 DAW 神经效果器的快乐吧✨【免费下载链接】neutone_sdkJoin the community on Discord for more discussions around Neutone! https://discord.gg/VHSMzb8Wqp项目地址: https://gitcode.com/gh_mirrors/ne/neutone_sdk创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考