每个类别只有1张图模型还能学会吗李宏毅深度学习教程的小样本学习完整实战路径【免费下载链接】leedl-tutorial《李宏毅深度学习教程》李宏毅老师推荐苹果书PDF下载地址https://github.com/datawhalechina/leedl-tutorial/releases项目地址: https://gitcode.com/GitHub_Trending/le/leedl-tutorial这篇文章从没数据可训这个真实痛点出发带你把李宏毅深度学习教程leedl-tutorial里的小样本学习相关作业过一遍一个类别只给几张图怎么学、旧数据怎么为新任务服务、学了新本领为什么旧本领会丢。每个问题都有现成的 notebook 可以跑跟着做就行。问题一几张样本怎么让模型认出新类别传统做法是每个类别攒上几千张图才敢开训小样本学习反过来5-way 1-shot这种极端条件下——5 个候选类别、每类只展示 1 张图——也要让模型把新东西认出来。类比一下人第一次见到斑马看一眼照片就能分清它和马的区别这就是这门技术想模拟的能力。最主流的路子是元学习一句话解释先让模型学会怎么学这样它面对新任务时几步就能上手。代表作 MAML 的玩法是双层优化训练时塞给它一大批小任务逼它找到一组稍微调几步参数就能适配新任务的初始参数。HW15-MetaLearning.ipynb 里已经搭好了 MAML 的框架内循环、外循环的核心步骤留了 TODO 给你补全。在经典的 Omniglot 手写字符数据集上跑完整流程后曲线会给你正反馈训练精度从初始的26.7%一路爬到84.8%验证准确率稳定在78%上下。把内循环学习率、每步训练次数各改一档再跑一遍对比曲线你就明白这些超参数到底在管什么。问题二手里有个旧模型怎么让它少费数据就服务新任务这是迁移学习的用武之地。说白了在真实照片上练出来的模型已经懂了不少通用特征拿到简笔画任务时没必要从零再来。仓库里的 HW11-Adaptation.ipynb 演示的是领域对抗性训练DaNN在模型里加一个领域判别器去区分特征来自真实图还是简笔画同时训练特征提取器去骗它——骗得越成功说明提取出的特征与领域无关后面的分类器拿到的才是干净信号。先看你手里源数据和目标数据有没有标签就知道该用哪种策略有对有标最常见走微调或多任务有一边没标的就得上自学习这类手段。跑完实验三条曲线讲了一个很有意思的故事任务本身的训练精度冲到 99%领域判别器精度反而跌回53%左右说明特征提取器成功把领域信息抹掉了测试精度则从 50% 附近稳步爬升到73%。问题三新技能学会了老技能为什么忘了这叫灾难性遗忘是模型连续学多个任务时的通病。HW14-LifeLongMachineLearning.ipynb 选了一类好上手的解法正则化。以 EWC 为例先给每个参数算一个重要性之后训练新任务时越是重要的参数越不许动用一个正则项把更新按在笼子里。MAS、RWalk 等几个变体只差重要性算法不同同一套训练函数就能全跑通非常适合横向对比。从动手到跑通的行动清单PyTorch 还不熟的话先花半小时过一遍热身目录里的 Pytorch_Tutorial_2.ipynb避免卡在与算法无关的语法上。打开 HW15 的 notebook补上 MAML 的两处 TODO在 Omniglot 上复现 5-way 1-shot 的精度曲线。接着跑 HW11 的领域对抗训练观察判别器精度掉下去的那一刻。最后到 HW14 里把 EWC、MAS、RWalk 三个算法依次跑完对比遗忘程度。跑通这三份作业你就同时拿下了学得快、迁得动、忘不掉三件事——小样本学习要解决的正是这三个问题。【免费下载链接】leedl-tutorial《李宏毅深度学习教程》李宏毅老师推荐苹果书PDF下载地址https://github.com/datawhalechina/leedl-tutorial/releases项目地址: https://gitcode.com/GitHub_Trending/le/leedl-tutorial创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 每个类别只有1张图，模型还能学会吗？李宏毅深度学习教程的小样本学习完整实战路径
每个类别只有1张图模型还能学会吗李宏毅深度学习教程的小样本学习完整实战路径【免费下载链接】leedl-tutorial《李宏毅深度学习教程》李宏毅老师推荐苹果书PDF下载地址https://github.com/datawhalechina/leedl-tutorial/releases项目地址: https://gitcode.com/GitHub_Trending/le/leedl-tutorial这篇文章从没数据可训这个真实痛点出发带你把李宏毅深度学习教程leedl-tutorial里的小样本学习相关作业过一遍一个类别只给几张图怎么学、旧数据怎么为新任务服务、学了新本领为什么旧本领会丢。每个问题都有现成的 notebook 可以跑跟着做就行。问题一几张样本怎么让模型认出新类别传统做法是每个类别攒上几千张图才敢开训小样本学习反过来5-way 1-shot这种极端条件下——5 个候选类别、每类只展示 1 张图——也要让模型把新东西认出来。类比一下人第一次见到斑马看一眼照片就能分清它和马的区别这就是这门技术想模拟的能力。最主流的路子是元学习一句话解释先让模型学会怎么学这样它面对新任务时几步就能上手。代表作 MAML 的玩法是双层优化训练时塞给它一大批小任务逼它找到一组稍微调几步参数就能适配新任务的初始参数。HW15-MetaLearning.ipynb 里已经搭好了 MAML 的框架内循环、外循环的核心步骤留了 TODO 给你补全。在经典的 Omniglot 手写字符数据集上跑完整流程后曲线会给你正反馈训练精度从初始的26.7%一路爬到84.8%验证准确率稳定在78%上下。把内循环学习率、每步训练次数各改一档再跑一遍对比曲线你就明白这些超参数到底在管什么。问题二手里有个旧模型怎么让它少费数据就服务新任务这是迁移学习的用武之地。说白了在真实照片上练出来的模型已经懂了不少通用特征拿到简笔画任务时没必要从零再来。仓库里的 HW11-Adaptation.ipynb 演示的是领域对抗性训练DaNN在模型里加一个领域判别器去区分特征来自真实图还是简笔画同时训练特征提取器去骗它——骗得越成功说明提取出的特征与领域无关后面的分类器拿到的才是干净信号。先看你手里源数据和目标数据有没有标签就知道该用哪种策略有对有标最常见走微调或多任务有一边没标的就得上自学习这类手段。跑完实验三条曲线讲了一个很有意思的故事任务本身的训练精度冲到 99%领域判别器精度反而跌回53%左右说明特征提取器成功把领域信息抹掉了测试精度则从 50% 附近稳步爬升到73%。问题三新技能学会了老技能为什么忘了这叫灾难性遗忘是模型连续学多个任务时的通病。HW14-LifeLongMachineLearning.ipynb 选了一类好上手的解法正则化。以 EWC 为例先给每个参数算一个重要性之后训练新任务时越是重要的参数越不许动用一个正则项把更新按在笼子里。MAS、RWalk 等几个变体只差重要性算法不同同一套训练函数就能全跑通非常适合横向对比。从动手到跑通的行动清单PyTorch 还不熟的话先花半小时过一遍热身目录里的 Pytorch_Tutorial_2.ipynb避免卡在与算法无关的语法上。打开 HW15 的 notebook补上 MAML 的两处 TODO在 Omniglot 上复现 5-way 1-shot 的精度曲线。接着跑 HW11 的领域对抗训练观察判别器精度掉下去的那一刻。最后到 HW14 里把 EWC、MAS、RWalk 三个算法依次跑完对比遗忘程度。跑通这三份作业你就同时拿下了学得快、迁得动、忘不掉三件事——小样本学习要解决的正是这三个问题。【免费下载链接】leedl-tutorial《李宏毅深度学习教程》李宏毅老师推荐苹果书PDF下载地址https://github.com/datawhalechina/leedl-tutorial/releases项目地址: https://gitcode.com/GitHub_Trending/le/leedl-tutorial创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考