ccmusic-database开发者教程自定义添加第17类流派如Chinese Traditional微调指南1. 引言如果你正在使用ccmusic-database这个音乐流派分类系统可能会遇到一个实际需求现有的16种流派分类不够用了你想加入新的音乐类型比如中国传统音乐Chinese Traditional。但系统只支持16类直接添加新类会报错该怎么办这不是一个简单的配置修改而是需要重新训练模型。听起来有点复杂别担心这篇教程就是为你准备的。我将带你一步步完成从数据准备、模型修改到重新训练的全过程最终让你的系统能够识别第17种音乐流派。学习目标通过本教程你将学会如何为ccmusic-database模型添加新的音乐流派分类并以“中国传统音乐”为例构建一个完整的微调流程。前置知识你需要对Python有基本了解知道如何运行命令行程序对深度学习有概念性认识即可。不需要你是机器学习专家我会用最直白的方式解释每个步骤。教程价值市面上大多数教程只讲如何使用预训练模型很少涉及如何根据自己的需求修改和扩展模型。这篇教程填补了这个空白让你真正掌握定制化AI模型的能力。2. 理解ccmusic-database的工作原理在开始动手之前我们先花几分钟了解一下这个系统是怎么工作的。理解了原理后面的操作就会变得很自然。2.1 系统架构概览ccmusic-database本质上是一个音乐分类器它的工作流程可以概括为三个步骤音频转图像把上传的MP3或WAV音频文件通过CQTConstant-Q Transform技术转换成224×224像素的彩色频谱图。你可以把这个过程想象成把声音“拍照”生成一张声音的“照片”。特征提取使用VGG19_BN这个在图像识别领域很厉害的模型从频谱图“照片”中提取关键特征。VGG19_BN原本是用来识别猫、狗、汽车等图像的但经过训练后它学会了识别不同音乐风格在频谱图上的“模样”。分类判断最后用一个分类器就是几层神经网络根据提取的特征判断这个音频属于16种流派中的哪一种并给出概率。2.2 为什么不能直接添加新流派现在你明白为什么不能简单地在代码里加一个“第17类”了吧因为模型的最后一层分类器是固定输出16个结果的。就像你定制了一个只有16个格子的收纳盒突然想放第17件物品盒子本身就需要重新制作。具体来说系统目录中的save.pt文件包含了整个模型的“知识”这个知识的架构是固定的。要添加新类别我们需要修改模型结构扩大“收纳盒”用包含新类别的数据重新训练教模型认识新物品保存新的模型文件3. 准备工作环境与数据好了理论部分结束我们开始动手。首先确保你的环境已经就绪。3.1 环境检查与依赖安装打开终端进入你的项目目录先检查一下基础环境# 检查Python版本需要3.7或以上 python3 --version # 检查关键库是否已安装 pip list | grep -E torch|librosa|gradio如果发现缺少某些库用以下命令安装# 安装或更新必要依赖 pip install torch torchvision librosa gradio numpy matplotlib scikit-learn3.2 准备新流派的数据集这是最关键也最耗时的一步。你需要为新的音乐流派准备训练数据。以“中国传统音乐”为例数据要求音频格式MP3或WAV音频质量尽量清晰无明显噪音时长每段30秒左右系统会自动截取前30秒数量至少50-100个样本越多越好数据来源建议专业音乐数据库如果你有访问权限开源音乐数据集自己收集和整理注意版权问题数据组织 在你的项目目录下创建一个新的数据文件夹# 创建数据目录结构 mkdir -p custom_dataset/chinese_traditional mkdir -p custom_dataset/existing_classes # 将新流派音频放入对应文件夹 # custom_dataset/chinese_traditional/ # ├── sample1.mp3 # ├── sample2.wav # └── ...重要提示为了保持模型对其他16个流派的识别能力你还需要从原始数据集中为每个现有流派选取一些样本每个流派20-30个放入custom_dataset/existing_classes/下的对应子文件夹中。4. 修改模型架构支持17类现在我们来修改模型让它能输出17个类别而不是16个。4.1 备份原始模型文件首先安全第一备份原始模型# 备份原始模型和代码 cp -r music_genre/ music_genre_backup/ cp music_genre/vgg19_bn_cqt/save.pt music_genre/vgg19_bn_cqt/save.pt.backup4.2 分析现有模型结构我们需要先看看原始模型是怎么定义的。通常模型定义会在训练脚本或单独的模型文件中。由于提供的资料中没有训练代码我们需要根据推理代码反推。查看app.py中的相关部分# 在app.py中查找模型加载代码 # 通常会有类似这样的代码 model torch.load(MODEL_PATH, map_locationdevice) model.eval()为了修改模型我们需要找到或创建模型的定义。创建一个新的Python文件model_extended.pyimport torch import torch.nn as nn import torchvision.models as models class MusicGenreClassifier17(nn.Module): 支持17类音乐流派分类的模型 def __init__(self, num_classes17): super(MusicGenreClassifier17, self).__init__() # 加载预训练的VGG19_BN作为特征提取器 vgg19 models.vgg19_bn(pretrainedTrue) # 移除原始的分类头输出1000类 self.features vgg19.features # 添加自定义的分类头 self.avgpool nn.AdaptiveAvgPool2d((7, 7)) # 修改分类器以适应17类输出 self.classifier nn.Sequential( nn.Linear(512 * 7 * 7, 4096), nn.ReLU(True), nn.Dropout(p0.5), nn.Linear(4096, 4096), nn.ReLU(True), nn.Dropout(p0.5), nn.Linear(4096, num_classes) # 关键修改输出17类 ) def forward(self, x): x self.features(x) x self.avgpool(x) x torch.flatten(x, 1) x self.classifier(x) return x def load_pretrained_weights(new_model, old_model_path, num_old_classes16): 加载预训练权重并扩展最后一层以适应新类别 参数 new_model: 新的17类模型 old_model_path: 原始16类模型路径 num_old_classes: 原始类别数16 # 加载原始模型 old_model torch.load(old_model_path, map_locationcpu) # 获取原始模型的状态字典 old_state_dict old_model.state_dict() if hasattr(old_model, state_dict) else old_model # 获取新模型的状态字典 new_state_dict new_model.state_dict() # 复制所有能匹配的参数 for name, param in old_state_dict.items(): if name in new_state_dict: # 如果是分类器的最后一层权重需要特殊处理 if classifier.6.weight in name or classifier.6.bias in name: # 原始权重形状[16, 4096]我们需要[17, 4096] old_weight old_state_dict[name] new_weight new_state_dict[name] # 复制前16类的权重 new_weight[:num_old_classes] old_weight # 初始化第17类的权重使用原始权重的平均值 new_weight[num_old_classes:] old_weight.mean(dim0, keepdimTrue) new_state_dict[name] new_weight else: # 其他层直接复制 new_state_dict[name] param # 加载修改后的状态字典 new_model.load_state_dict(new_state_dict) return new_model4.3 创建训练脚本接下来创建训练脚本train_extended.pyimport os import torch import torch.nn as nn import torch.optim as optim from torch.utils.data import DataLoader, Dataset import librosa import numpy as np from sklearn.model_selection import train_test_split import matplotlib.pyplot as plt from model_extended import MusicGenreClassifier17, load_pretrained_weights class MusicDataset(Dataset): 自定义音乐数据集 def __init__(self, audio_files, labels, sr22050, duration30): self.audio_files audio_files self.labels labels self.sr sr self.duration duration def __len__(self): return len(self.audio_files) def extract_cqt_features(self, audio_path): 提取CQT特征并转换为频谱图 try: # 加载音频 y, sr librosa.load(audio_path, srself.sr, durationself.duration) # 计算CQT cqt librosa.cqt(y, srsr, hop_length512, n_bins84) cqt_mag librosa.magphase(cqt)[0] # 转换为对数刻度 cqt_db librosa.amplitude_to_db(cqt_mag, refnp.max) # 调整大小到224x224 from scipy import ndimage cqt_resized ndimage.zoom(cqt_db, (224/cqt_db.shape[0], 224/cqt_db.shape[1])) # 转换为3通道模拟RGB cqt_rgb np.stack([cqt_resized] * 3, axis0) return cqt_rgb except Exception as e: print(f处理文件 {audio_path} 时出错: {e}) return np.zeros((3, 224, 224)) def __getitem__(self, idx): audio_path self.audio_files[idx] label self.labels[idx] # 提取特征 features self.extract_cqt_features(audio_path) # 转换为tensor features_tensor torch.FloatTensor(features) label_tensor torch.LongTensor([label]) return features_tensor, label_tensor def prepare_data(data_dir): 准备训练数据 audio_files [] labels [] # 定义类别映射 class_mapping {} # 遍历数据目录 for class_idx, class_name in enumerate(sorted(os.listdir(data_dir))): class_path os.path.join(data_dir, class_name) if os.path.isdir(class_path): class_mapping[class_name] class_idx # 收集该类别下的所有音频文件 for audio_file in os.listdir(class_path): if audio_file.endswith((.mp3, .wav, .flac)): audio_path os.path.join(class_path, audio_file) audio_files.append(audio_path) labels.append(class_idx) return audio_files, labels, class_mapping def train_model(): 训练扩展后的模型 # 设置设备 device torch.device(cuda if torch.cuda.is_available() else cpu) print(f使用设备: {device}) # 准备数据 print(准备数据...) data_dir custom_dataset audio_files, labels, class_mapping prepare_data(data_dir) print(f找到 {len(audio_files)} 个音频样本) print(f类别映射: {class_mapping}) # 划分训练集和验证集 train_files, val_files, train_labels, val_labels train_test_split( audio_files, labels, test_size0.2, random_state42, stratifylabels ) # 创建数据集和数据加载器 train_dataset MusicDataset(train_files, train_labels) val_dataset MusicDataset(val_files, val_labels) train_loader DataLoader(train_dataset, batch_size8, shuffleTrue) val_loader DataLoader(val_dataset, batch_size8, shuffleFalse) # 创建模型 print(创建模型...) model MusicGenreClassifier17(num_classeslen(class_mapping)) # 加载预训练权重 old_model_path music_genre/vgg19_bn_cqt/save.pt model load_pretrained_weights(model, old_model_path, num_old_classes16) model model.to(device) # 定义损失函数和优化器 criterion nn.CrossEntropyLoss() optimizer optim.Adam(model.parameters(), lr0.0001) # 训练参数 num_epochs 20 train_losses [] val_accuracies [] print(开始训练...) for epoch in range(num_epochs): # 训练阶段 model.train() running_loss 0.0 for batch_idx, (inputs, labels) in enumerate(train_loader): inputs, labels inputs.to(device), labels.to(device).squeeze() # 前向传播 outputs model(inputs) loss criterion(outputs, labels) # 反向传播 optimizer.zero_grad() loss.backward() optimizer.step() running_loss loss.item() if batch_idx % 10 0: print(fEpoch [{epoch1}/{num_epochs}], Step [{batch_idx}/{len(train_loader)}], Loss: {loss.item():.4f}) epoch_loss running_loss / len(train_loader) train_losses.append(epoch_loss) # 验证阶段 model.eval() correct 0 total 0 with torch.no_grad(): for inputs, labels in val_loader: inputs, labels inputs.to(device), labels.to(device).squeeze() outputs model(inputs) _, predicted torch.max(outputs.data, 1) total labels.size(0) correct (predicted labels).sum().item() val_accuracy 100 * correct / total val_accuracies.append(val_accuracy) print(fEpoch [{epoch1}/{num_epochs}], Loss: {epoch_loss:.4f}, Val Accuracy: {val_accuracy:.2f}%) # 保存模型 save_path music_genre/vgg19_bn_cqt/save_extended.pt torch.save(model.state_dict(), save_path) print(f模型已保存到: {save_path}) # 保存类别映射 import json with open(class_mapping.json, w) as f: json.dump(class_mapping, f) # 绘制训练曲线 plt.figure(figsize(12, 4)) plt.subplot(1, 2, 1) plt.plot(train_losses) plt.title(Training Loss) plt.xlabel(Epoch) plt.ylabel(Loss) plt.subplot(1, 2, 2) plt.plot(val_accuracies) plt.title(Validation Accuracy) plt.xlabel(Epoch) plt.ylabel(Accuracy (%)) plt.tight_layout() plt.savefig(training_curve.png) plt.show() return model, class_mapping if __name__ __main__: train_model()5. 训练与验证新模型有了数据和代码现在可以开始训练了。5.1 启动训练过程在终端中运行训练脚本# 确保在项目根目录 cd /path/to/your/project # 运行训练脚本 python3 train_extended.py训练过程会在终端显示进度包括每个epoch的损失值和验证准确率。这个过程可能需要一些时间取决于你的数据量和硬件配置。5.2 监控训练进度训练过程中你可以关注以下几个指标训练损失Training Loss应该随着训练逐渐下降验证准确率Validation Accuracy应该逐渐上升并趋于稳定过拟合迹象如果训练损失持续下降但验证准确率不再提升可能出现过拟合如果发现过拟合可以尝试增加数据量特别是新类别的数据增加Dropout率使用数据增强提前停止训练5.3 评估模型性能训练完成后创建一个评估脚本evaluate_model.pyimport torch import numpy as np from model_extended import MusicGenreClassifier17 import json import librosa from scipy import ndimage def evaluate_single_audio(model, audio_path, class_mapping, devicecpu): 评估单个音频文件 # 反转类别映射从索引到类别名 idx_to_class {v: k for k, v in class_mapping.items()} # 提取特征 def extract_features(audio_path): y, sr librosa.load(audio_path, sr22050, duration30) cqt librosa.cqt(y, srsr, hop_length512, n_bins84) cqt_mag librosa.magphase(cqt)[0] cqt_db librosa.amplitude_to_db(cqt_mag, refnp.max) cqt_resized ndimage.zoom(cqt_db, (224/cqt_db.shape[0], 224/cqt_db.shape[1])) cqt_rgb np.stack([cqt_resized] * 3, axis0) return cqt_rgb # 准备输入 features extract_features(audio_path) input_tensor torch.FloatTensor(features).unsqueeze(0).to(device) # 推理 model.eval() with torch.no_grad(): outputs model(input_tensor) probabilities torch.softmax(outputs, dim1) top5_prob, top5_idx torch.topk(probabilities, 5) # 打印结果 print(f\n音频文件: {audio_path}) print(Top 5 预测结果:) for i in range(5): class_idx top5_idx[0][i].item() class_name idx_to_class.get(class_idx, fClass_{class_idx}) prob top5_prob[0][i].item() * 100 print(f {i1}. {class_name}: {prob:.2f}%) return top5_idx, top5_prob # 加载模型和类别映射 device torch.device(cuda if torch.cuda.is_available() else cpu) model MusicGenreClassifier17(num_classes17) model.load_state_dict(torch.load(music_genre/vgg19_bn_cqt/save_extended.pt, map_locationdevice)) model model.to(device) with open(class_mapping.json, r) as f: class_mapping json.load(f) # 测试几个样本 test_audios [ custom_dataset/chinese_traditional/sample1.mp3, custom_dataset/existing_classes/symphony/sample1.mp3, # 添加更多测试文件 ] for audio in test_audios: evaluate_single_audio(model, audio, class_mapping, device)6. 更新推理服务模型训练好了现在需要更新推理服务以支持17类。6.1 修改app.py打开原始的app.py文件我们需要做几处修改# 在文件开头添加导入 import json import torch.nn as nn import torchvision.models as models # 定义扩展后的模型类或者从model_extended.py导入 class MusicGenreClassifier17(nn.Module): # ... 这里可以复制model_extended.py中的类定义或者直接导入 pass # 修改模型加载部分 def load_extended_model(): 加载扩展后的17类模型 device torch.device(cuda if torch.cuda.is_available() else cpu) # 加载类别映射 with open(class_mapping.json, r) as f: class_mapping json.load(f) # 反转映射 idx_to_class {v: k for k, v in class_mapping.items()} # 创建并加载模型 model MusicGenreClassifier17(num_classeslen(class_mapping)) model.load_state_dict(torch.load(music_genre/vgg19_bn_cqt/save_extended.pt, map_locationdevice)) model.to(device) model.eval() return model, idx_to_class # 替换原来的模型加载代码 # 找到原来的 model torch.load(MODEL_PATH, map_locationdevice) # 替换为 model, idx_to_class load_extended_model() # 修改预测函数中的类别名称获取 # 找到类似这样的代码 # classes [Symphony, Opera, ...] # 原来的16类 # 替换为使用 idx_to_class # 修改结果显示部分 def predict_audio(audio_path): # ... 原有的特征提取代码不变 # 修改预测结果处理 with torch.no_grad(): outputs model(input_tensor) probabilities torch.softmax(outputs, dim1) top5_prob, top5_idx torch.topk(probabilities, 5) # 使用新的类别映射 results [] for i in range(5): class_idx top5_idx[0][i].item() class_name idx_to_class.get(class_idx, fClass_{class_idx}) prob top5_prob[0][i].item() * 100 results.append((class_name, prob)) return results6.2 更新Gradio界面如果需要可以更新Web界面上显示的类别信息。在Gradio界面定义部分更新类别说明# 修改界面描述反映现在支持17类 description 基于 VGG19_BN CQT 特征的 17 种音乐流派自动分类系统 新增支持Chinese Traditional (中国传统音乐) 6.3 测试更新后的服务保存所有修改后启动服务进行测试# 启动更新后的服务 python3 music_genre/app.py访问 http://localhost:7860上传包含中国传统音乐的音频文件查看是否能够正确识别。7. 常见问题与解决方案在微调过程中你可能会遇到一些问题。这里列出了一些常见问题及其解决方法7.1 数据相关问题问题新类别数据太少模型学不会解决方案收集更多数据至少50-100个样本使用数据增强技术变速、变调、添加噪声使用迁移学习冻结前面层只训练最后几层问题类别不平衡新类别准确率低解决方案对少数类别过采样在损失函数中使用类别权重调整采样策略确保每个batch中各类别均衡7.2 训练相关问题问题训练损失不下降解决方案检查学习率是否合适尝试0.0001, 0.00001检查数据预处理是否正确验证特征提取代码是否与原始一致问题验证准确率波动大解决方案增加验证集大小使用更稳定的优化器如AdamW添加梯度裁剪7.3 部署相关问题问题推理速度变慢解决方案使用半精度推理FP16优化特征提取代码使用模型量化问题内存占用增加解决方案使用梯度检查点减少批处理大小使用更小的模型变体8. 总结通过这篇教程我们完成了为ccmusic-database音乐流派分类系统添加第17类中国传统音乐的完整流程。让我们回顾一下关键步骤主要步骤回顾理解系统原理明白了为什么不能直接添加新类别准备数据收集和整理新类别的音频数据修改模型扩展模型结构以支持17类输出训练模型用新旧数据一起重新训练模型更新服务修改推理代码以使用新模型测试验证确保新功能正常工作关键要点添加新类别需要重新训练不是简单配置数据质量决定模型性能新类别需要足够样本迁移学习是关键利用预训练权重加速收敛保持原始类别性能需要同时训练新旧数据下一步建议 如果你成功添加了第一个新类别可以尝试添加更多新类别流行、摇滚等子类优化模型性能尝试不同架构开发批量处理功能添加模型解释性功能可视化注意力最后提醒机器学习模型的微调既是一门科学也是一门艺术。不要期望第一次就完美通过多次迭代、调整参数、优化数据你会得到越来越好的结果。最重要的是开始动手实践在实际操作中学习和改进。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
ccmusic-database开发者教程：自定义添加第17类流派（如Chinese Traditional）微调指南
发布时间：2026/7/30 12:33:06
ccmusic-database开发者教程自定义添加第17类流派如Chinese Traditional微调指南1. 引言如果你正在使用ccmusic-database这个音乐流派分类系统可能会遇到一个实际需求现有的16种流派分类不够用了你想加入新的音乐类型比如中国传统音乐Chinese Traditional。但系统只支持16类直接添加新类会报错该怎么办这不是一个简单的配置修改而是需要重新训练模型。听起来有点复杂别担心这篇教程就是为你准备的。我将带你一步步完成从数据准备、模型修改到重新训练的全过程最终让你的系统能够识别第17种音乐流派。学习目标通过本教程你将学会如何为ccmusic-database模型添加新的音乐流派分类并以“中国传统音乐”为例构建一个完整的微调流程。前置知识你需要对Python有基本了解知道如何运行命令行程序对深度学习有概念性认识即可。不需要你是机器学习专家我会用最直白的方式解释每个步骤。教程价值市面上大多数教程只讲如何使用预训练模型很少涉及如何根据自己的需求修改和扩展模型。这篇教程填补了这个空白让你真正掌握定制化AI模型的能力。2. 理解ccmusic-database的工作原理在开始动手之前我们先花几分钟了解一下这个系统是怎么工作的。理解了原理后面的操作就会变得很自然。2.1 系统架构概览ccmusic-database本质上是一个音乐分类器它的工作流程可以概括为三个步骤音频转图像把上传的MP3或WAV音频文件通过CQTConstant-Q Transform技术转换成224×224像素的彩色频谱图。你可以把这个过程想象成把声音“拍照”生成一张声音的“照片”。特征提取使用VGG19_BN这个在图像识别领域很厉害的模型从频谱图“照片”中提取关键特征。VGG19_BN原本是用来识别猫、狗、汽车等图像的但经过训练后它学会了识别不同音乐风格在频谱图上的“模样”。分类判断最后用一个分类器就是几层神经网络根据提取的特征判断这个音频属于16种流派中的哪一种并给出概率。2.2 为什么不能直接添加新流派现在你明白为什么不能简单地在代码里加一个“第17类”了吧因为模型的最后一层分类器是固定输出16个结果的。就像你定制了一个只有16个格子的收纳盒突然想放第17件物品盒子本身就需要重新制作。具体来说系统目录中的save.pt文件包含了整个模型的“知识”这个知识的架构是固定的。要添加新类别我们需要修改模型结构扩大“收纳盒”用包含新类别的数据重新训练教模型认识新物品保存新的模型文件3. 准备工作环境与数据好了理论部分结束我们开始动手。首先确保你的环境已经就绪。3.1 环境检查与依赖安装打开终端进入你的项目目录先检查一下基础环境# 检查Python版本需要3.7或以上 python3 --version # 检查关键库是否已安装 pip list | grep -E torch|librosa|gradio如果发现缺少某些库用以下命令安装# 安装或更新必要依赖 pip install torch torchvision librosa gradio numpy matplotlib scikit-learn3.2 准备新流派的数据集这是最关键也最耗时的一步。你需要为新的音乐流派准备训练数据。以“中国传统音乐”为例数据要求音频格式MP3或WAV音频质量尽量清晰无明显噪音时长每段30秒左右系统会自动截取前30秒数量至少50-100个样本越多越好数据来源建议专业音乐数据库如果你有访问权限开源音乐数据集自己收集和整理注意版权问题数据组织 在你的项目目录下创建一个新的数据文件夹# 创建数据目录结构 mkdir -p custom_dataset/chinese_traditional mkdir -p custom_dataset/existing_classes # 将新流派音频放入对应文件夹 # custom_dataset/chinese_traditional/ # ├── sample1.mp3 # ├── sample2.wav # └── ...重要提示为了保持模型对其他16个流派的识别能力你还需要从原始数据集中为每个现有流派选取一些样本每个流派20-30个放入custom_dataset/existing_classes/下的对应子文件夹中。4. 修改模型架构支持17类现在我们来修改模型让它能输出17个类别而不是16个。4.1 备份原始模型文件首先安全第一备份原始模型# 备份原始模型和代码 cp -r music_genre/ music_genre_backup/ cp music_genre/vgg19_bn_cqt/save.pt music_genre/vgg19_bn_cqt/save.pt.backup4.2 分析现有模型结构我们需要先看看原始模型是怎么定义的。通常模型定义会在训练脚本或单独的模型文件中。由于提供的资料中没有训练代码我们需要根据推理代码反推。查看app.py中的相关部分# 在app.py中查找模型加载代码 # 通常会有类似这样的代码 model torch.load(MODEL_PATH, map_locationdevice) model.eval()为了修改模型我们需要找到或创建模型的定义。创建一个新的Python文件model_extended.pyimport torch import torch.nn as nn import torchvision.models as models class MusicGenreClassifier17(nn.Module): 支持17类音乐流派分类的模型 def __init__(self, num_classes17): super(MusicGenreClassifier17, self).__init__() # 加载预训练的VGG19_BN作为特征提取器 vgg19 models.vgg19_bn(pretrainedTrue) # 移除原始的分类头输出1000类 self.features vgg19.features # 添加自定义的分类头 self.avgpool nn.AdaptiveAvgPool2d((7, 7)) # 修改分类器以适应17类输出 self.classifier nn.Sequential( nn.Linear(512 * 7 * 7, 4096), nn.ReLU(True), nn.Dropout(p0.5), nn.Linear(4096, 4096), nn.ReLU(True), nn.Dropout(p0.5), nn.Linear(4096, num_classes) # 关键修改输出17类 ) def forward(self, x): x self.features(x) x self.avgpool(x) x torch.flatten(x, 1) x self.classifier(x) return x def load_pretrained_weights(new_model, old_model_path, num_old_classes16): 加载预训练权重并扩展最后一层以适应新类别 参数 new_model: 新的17类模型 old_model_path: 原始16类模型路径 num_old_classes: 原始类别数16 # 加载原始模型 old_model torch.load(old_model_path, map_locationcpu) # 获取原始模型的状态字典 old_state_dict old_model.state_dict() if hasattr(old_model, state_dict) else old_model # 获取新模型的状态字典 new_state_dict new_model.state_dict() # 复制所有能匹配的参数 for name, param in old_state_dict.items(): if name in new_state_dict: # 如果是分类器的最后一层权重需要特殊处理 if classifier.6.weight in name or classifier.6.bias in name: # 原始权重形状[16, 4096]我们需要[17, 4096] old_weight old_state_dict[name] new_weight new_state_dict[name] # 复制前16类的权重 new_weight[:num_old_classes] old_weight # 初始化第17类的权重使用原始权重的平均值 new_weight[num_old_classes:] old_weight.mean(dim0, keepdimTrue) new_state_dict[name] new_weight else: # 其他层直接复制 new_state_dict[name] param # 加载修改后的状态字典 new_model.load_state_dict(new_state_dict) return new_model4.3 创建训练脚本接下来创建训练脚本train_extended.pyimport os import torch import torch.nn as nn import torch.optim as optim from torch.utils.data import DataLoader, Dataset import librosa import numpy as np from sklearn.model_selection import train_test_split import matplotlib.pyplot as plt from model_extended import MusicGenreClassifier17, load_pretrained_weights class MusicDataset(Dataset): 自定义音乐数据集 def __init__(self, audio_files, labels, sr22050, duration30): self.audio_files audio_files self.labels labels self.sr sr self.duration duration def __len__(self): return len(self.audio_files) def extract_cqt_features(self, audio_path): 提取CQT特征并转换为频谱图 try: # 加载音频 y, sr librosa.load(audio_path, srself.sr, durationself.duration) # 计算CQT cqt librosa.cqt(y, srsr, hop_length512, n_bins84) cqt_mag librosa.magphase(cqt)[0] # 转换为对数刻度 cqt_db librosa.amplitude_to_db(cqt_mag, refnp.max) # 调整大小到224x224 from scipy import ndimage cqt_resized ndimage.zoom(cqt_db, (224/cqt_db.shape[0], 224/cqt_db.shape[1])) # 转换为3通道模拟RGB cqt_rgb np.stack([cqt_resized] * 3, axis0) return cqt_rgb except Exception as e: print(f处理文件 {audio_path} 时出错: {e}) return np.zeros((3, 224, 224)) def __getitem__(self, idx): audio_path self.audio_files[idx] label self.labels[idx] # 提取特征 features self.extract_cqt_features(audio_path) # 转换为tensor features_tensor torch.FloatTensor(features) label_tensor torch.LongTensor([label]) return features_tensor, label_tensor def prepare_data(data_dir): 准备训练数据 audio_files [] labels [] # 定义类别映射 class_mapping {} # 遍历数据目录 for class_idx, class_name in enumerate(sorted(os.listdir(data_dir))): class_path os.path.join(data_dir, class_name) if os.path.isdir(class_path): class_mapping[class_name] class_idx # 收集该类别下的所有音频文件 for audio_file in os.listdir(class_path): if audio_file.endswith((.mp3, .wav, .flac)): audio_path os.path.join(class_path, audio_file) audio_files.append(audio_path) labels.append(class_idx) return audio_files, labels, class_mapping def train_model(): 训练扩展后的模型 # 设置设备 device torch.device(cuda if torch.cuda.is_available() else cpu) print(f使用设备: {device}) # 准备数据 print(准备数据...) data_dir custom_dataset audio_files, labels, class_mapping prepare_data(data_dir) print(f找到 {len(audio_files)} 个音频样本) print(f类别映射: {class_mapping}) # 划分训练集和验证集 train_files, val_files, train_labels, val_labels train_test_split( audio_files, labels, test_size0.2, random_state42, stratifylabels ) # 创建数据集和数据加载器 train_dataset MusicDataset(train_files, train_labels) val_dataset MusicDataset(val_files, val_labels) train_loader DataLoader(train_dataset, batch_size8, shuffleTrue) val_loader DataLoader(val_dataset, batch_size8, shuffleFalse) # 创建模型 print(创建模型...) model MusicGenreClassifier17(num_classeslen(class_mapping)) # 加载预训练权重 old_model_path music_genre/vgg19_bn_cqt/save.pt model load_pretrained_weights(model, old_model_path, num_old_classes16) model model.to(device) # 定义损失函数和优化器 criterion nn.CrossEntropyLoss() optimizer optim.Adam(model.parameters(), lr0.0001) # 训练参数 num_epochs 20 train_losses [] val_accuracies [] print(开始训练...) for epoch in range(num_epochs): # 训练阶段 model.train() running_loss 0.0 for batch_idx, (inputs, labels) in enumerate(train_loader): inputs, labels inputs.to(device), labels.to(device).squeeze() # 前向传播 outputs model(inputs) loss criterion(outputs, labels) # 反向传播 optimizer.zero_grad() loss.backward() optimizer.step() running_loss loss.item() if batch_idx % 10 0: print(fEpoch [{epoch1}/{num_epochs}], Step [{batch_idx}/{len(train_loader)}], Loss: {loss.item():.4f}) epoch_loss running_loss / len(train_loader) train_losses.append(epoch_loss) # 验证阶段 model.eval() correct 0 total 0 with torch.no_grad(): for inputs, labels in val_loader: inputs, labels inputs.to(device), labels.to(device).squeeze() outputs model(inputs) _, predicted torch.max(outputs.data, 1) total labels.size(0) correct (predicted labels).sum().item() val_accuracy 100 * correct / total val_accuracies.append(val_accuracy) print(fEpoch [{epoch1}/{num_epochs}], Loss: {epoch_loss:.4f}, Val Accuracy: {val_accuracy:.2f}%) # 保存模型 save_path music_genre/vgg19_bn_cqt/save_extended.pt torch.save(model.state_dict(), save_path) print(f模型已保存到: {save_path}) # 保存类别映射 import json with open(class_mapping.json, w) as f: json.dump(class_mapping, f) # 绘制训练曲线 plt.figure(figsize(12, 4)) plt.subplot(1, 2, 1) plt.plot(train_losses) plt.title(Training Loss) plt.xlabel(Epoch) plt.ylabel(Loss) plt.subplot(1, 2, 2) plt.plot(val_accuracies) plt.title(Validation Accuracy) plt.xlabel(Epoch) plt.ylabel(Accuracy (%)) plt.tight_layout() plt.savefig(training_curve.png) plt.show() return model, class_mapping if __name__ __main__: train_model()5. 训练与验证新模型有了数据和代码现在可以开始训练了。5.1 启动训练过程在终端中运行训练脚本# 确保在项目根目录 cd /path/to/your/project # 运行训练脚本 python3 train_extended.py训练过程会在终端显示进度包括每个epoch的损失值和验证准确率。这个过程可能需要一些时间取决于你的数据量和硬件配置。5.2 监控训练进度训练过程中你可以关注以下几个指标训练损失Training Loss应该随着训练逐渐下降验证准确率Validation Accuracy应该逐渐上升并趋于稳定过拟合迹象如果训练损失持续下降但验证准确率不再提升可能出现过拟合如果发现过拟合可以尝试增加数据量特别是新类别的数据增加Dropout率使用数据增强提前停止训练5.3 评估模型性能训练完成后创建一个评估脚本evaluate_model.pyimport torch import numpy as np from model_extended import MusicGenreClassifier17 import json import librosa from scipy import ndimage def evaluate_single_audio(model, audio_path, class_mapping, devicecpu): 评估单个音频文件 # 反转类别映射从索引到类别名 idx_to_class {v: k for k, v in class_mapping.items()} # 提取特征 def extract_features(audio_path): y, sr librosa.load(audio_path, sr22050, duration30) cqt librosa.cqt(y, srsr, hop_length512, n_bins84) cqt_mag librosa.magphase(cqt)[0] cqt_db librosa.amplitude_to_db(cqt_mag, refnp.max) cqt_resized ndimage.zoom(cqt_db, (224/cqt_db.shape[0], 224/cqt_db.shape[1])) cqt_rgb np.stack([cqt_resized] * 3, axis0) return cqt_rgb # 准备输入 features extract_features(audio_path) input_tensor torch.FloatTensor(features).unsqueeze(0).to(device) # 推理 model.eval() with torch.no_grad(): outputs model(input_tensor) probabilities torch.softmax(outputs, dim1) top5_prob, top5_idx torch.topk(probabilities, 5) # 打印结果 print(f\n音频文件: {audio_path}) print(Top 5 预测结果:) for i in range(5): class_idx top5_idx[0][i].item() class_name idx_to_class.get(class_idx, fClass_{class_idx}) prob top5_prob[0][i].item() * 100 print(f {i1}. {class_name}: {prob:.2f}%) return top5_idx, top5_prob # 加载模型和类别映射 device torch.device(cuda if torch.cuda.is_available() else cpu) model MusicGenreClassifier17(num_classes17) model.load_state_dict(torch.load(music_genre/vgg19_bn_cqt/save_extended.pt, map_locationdevice)) model model.to(device) with open(class_mapping.json, r) as f: class_mapping json.load(f) # 测试几个样本 test_audios [ custom_dataset/chinese_traditional/sample1.mp3, custom_dataset/existing_classes/symphony/sample1.mp3, # 添加更多测试文件 ] for audio in test_audios: evaluate_single_audio(model, audio, class_mapping, device)6. 更新推理服务模型训练好了现在需要更新推理服务以支持17类。6.1 修改app.py打开原始的app.py文件我们需要做几处修改# 在文件开头添加导入 import json import torch.nn as nn import torchvision.models as models # 定义扩展后的模型类或者从model_extended.py导入 class MusicGenreClassifier17(nn.Module): # ... 这里可以复制model_extended.py中的类定义或者直接导入 pass # 修改模型加载部分 def load_extended_model(): 加载扩展后的17类模型 device torch.device(cuda if torch.cuda.is_available() else cpu) # 加载类别映射 with open(class_mapping.json, r) as f: class_mapping json.load(f) # 反转映射 idx_to_class {v: k for k, v in class_mapping.items()} # 创建并加载模型 model MusicGenreClassifier17(num_classeslen(class_mapping)) model.load_state_dict(torch.load(music_genre/vgg19_bn_cqt/save_extended.pt, map_locationdevice)) model.to(device) model.eval() return model, idx_to_class # 替换原来的模型加载代码 # 找到原来的 model torch.load(MODEL_PATH, map_locationdevice) # 替换为 model, idx_to_class load_extended_model() # 修改预测函数中的类别名称获取 # 找到类似这样的代码 # classes [Symphony, Opera, ...] # 原来的16类 # 替换为使用 idx_to_class # 修改结果显示部分 def predict_audio(audio_path): # ... 原有的特征提取代码不变 # 修改预测结果处理 with torch.no_grad(): outputs model(input_tensor) probabilities torch.softmax(outputs, dim1) top5_prob, top5_idx torch.topk(probabilities, 5) # 使用新的类别映射 results [] for i in range(5): class_idx top5_idx[0][i].item() class_name idx_to_class.get(class_idx, fClass_{class_idx}) prob top5_prob[0][i].item() * 100 results.append((class_name, prob)) return results6.2 更新Gradio界面如果需要可以更新Web界面上显示的类别信息。在Gradio界面定义部分更新类别说明# 修改界面描述反映现在支持17类 description 基于 VGG19_BN CQT 特征的 17 种音乐流派自动分类系统 新增支持Chinese Traditional (中国传统音乐) 6.3 测试更新后的服务保存所有修改后启动服务进行测试# 启动更新后的服务 python3 music_genre/app.py访问 http://localhost:7860上传包含中国传统音乐的音频文件查看是否能够正确识别。7. 常见问题与解决方案在微调过程中你可能会遇到一些问题。这里列出了一些常见问题及其解决方法7.1 数据相关问题问题新类别数据太少模型学不会解决方案收集更多数据至少50-100个样本使用数据增强技术变速、变调、添加噪声使用迁移学习冻结前面层只训练最后几层问题类别不平衡新类别准确率低解决方案对少数类别过采样在损失函数中使用类别权重调整采样策略确保每个batch中各类别均衡7.2 训练相关问题问题训练损失不下降解决方案检查学习率是否合适尝试0.0001, 0.00001检查数据预处理是否正确验证特征提取代码是否与原始一致问题验证准确率波动大解决方案增加验证集大小使用更稳定的优化器如AdamW添加梯度裁剪7.3 部署相关问题问题推理速度变慢解决方案使用半精度推理FP16优化特征提取代码使用模型量化问题内存占用增加解决方案使用梯度检查点减少批处理大小使用更小的模型变体8. 总结通过这篇教程我们完成了为ccmusic-database音乐流派分类系统添加第17类中国传统音乐的完整流程。让我们回顾一下关键步骤主要步骤回顾理解系统原理明白了为什么不能直接添加新类别准备数据收集和整理新类别的音频数据修改模型扩展模型结构以支持17类输出训练模型用新旧数据一起重新训练模型更新服务修改推理代码以使用新模型测试验证确保新功能正常工作关键要点添加新类别需要重新训练不是简单配置数据质量决定模型性能新类别需要足够样本迁移学习是关键利用预训练权重加速收敛保持原始类别性能需要同时训练新旧数据下一步建议 如果你成功添加了第一个新类别可以尝试添加更多新类别流行、摇滚等子类优化模型性能尝试不同架构开发批量处理功能添加模型解释性功能可视化注意力最后提醒机器学习模型的微调既是一门科学也是一门艺术。不要期望第一次就完美通过多次迭代、调整参数、优化数据你会得到越来越好的结果。最重要的是开始动手实践在实际操作中学习和改进。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
