李沐论文精读合集67 篇深度学习经典论文逐段精读从 AlexNet 到 SoraB 站播放百万级的 AI 自学圣经 学深度学习读不懂论文跟着李沐逐段精读从 AlexNet 到 Sora从 Transformer 到 GPT-467 篇经典论文逐段拆解每篇 40-90 分钟深度讲解B 站百万播放量的论文精读项目。涵盖 CNN 架构演进、Transformer 全家桶、生成模型、分布式训练、大语言模型、多模态等 8 大方向配套《研究的艺术》4 讲教你做科研。全网最系统的 AI 论文学习路线没有之一。 目录1. 项目是什么2. 为什么你需要它3. 8 大方向论文路线图4. 精读论文完整清单5. 特色不只读论文还教做科研6. 如何使用这个项目7. 优缺点与学习建议8. 总结1. 项目是什么paper-reading是亚马逊资深首席科学家李沐Mu Li发起的深度学习论文逐段精读项目。核心理念不是给你讲个大概而是带着你逐段读完让你真正读懂每一行论文。 项目地址https://github.com/mli/paper-reading B 站频道跟李沐学AI YouTubeMu Li 配套教材《动手学深度学习》d2l.ai⭐ GitHub Star26K 总论文数67 篇 已录制32 期李沐是谁身份说明亚马逊资深首席科学家从事 AI 研究与系统开发《动手学深度学习》作者全球最畅销的中文深度学习教材Parameter Server 作者分布式训练经典论文OSDI’14MXNet 联合创始人深度学习框架B 站百万粉丝 UP 主论文精读播放量累计过亿一个既做过系统、又做过算法、还写得了教材、讲得了课的 AI 全栈大佬。2. 为什么你需要它读论文的三个层次层次说明你可能在哪❶ 知道名字听说过 Transformer、BERT但不清楚细节入门❷ 读过摘要知道做了什么、结果多好但没看实现初级❸ 逐段精读每一行公式都理解知道为什么这么设计进阶李沐的精读带你从 ❶ 直达 ❸。传统读论文的痛点痛点李沐精读的解法英文论文读不下去中文逐段讲解不用查词典公式看不懂逐步推导从直觉到形式化不知道为什么这么设计讲设计思路不只讲是什么还讲为什么不知道论文之间的关系串讲讲清楚前后文脉络读完了还是不会做科研《研究的艺术》4 讲教方法论没有系统学习路线8 大方向分类从基础到前沿3. 8 大方向论文路线图路线一CNN 架构演进 ️从 AlexNet 到 EfficientNet看 CNN 架构十年进化史AlexNet (2012) 深度学习奠基作 ↓ VGG (2014) 用 3×3 卷积堆叠更深网络 GoogleNet (2014) 并行架构 Inception ↓ ResNet (2015) 残差连接撑起 CV 半边天 ⭐ ↓ MobileNet (2017) 终端设备轻量 CNN EfficientNet (2019) 架构搜索 SOTA Non-deep Networks (2021) 不深的网络也能刷 SOTA必读AlexNet → ResNet这两篇理解了CNN 架构演进的主线就通了。路线二Vision Transformer Transformer 从 NLP 杀入 CV 的完整路径Transformer (2017) Attention Is All You Need ⭐ ↓ ViT (2020) 图像当 16×16 words ⭐ ↓ Swin Transformer (2021) 层次化 ViT ⭐ MLP-Mixer (2021) 用 MLP 替代 Attention ↓ MAE (2021) BERT 的 CV 版 ⭐必读Transformer → ViT → MAE理解 ViT 的来龙去脉。路线三生成模型 从 GAN 到 Diffusion 到 DALL·E 2生成模型十年演进GAN (2014) 生成模型开创工作 ⭐ ↓ DCGAN → WGAN → CycleGAN → StyleGAN → StyleGAN2 → StyleGAN3 ↓ DDPM (2020) Diffusion Models ⭐ Improved DDPM → Guided Diffusion ↓ DALL·E 2 (2022) CLIP Diffusion ⭐ ↓ Sora (2024) 视频生成 ⭐ Movie Gen (2024) 精确视频编辑 HunyuanVideo (2025) 开源视频生成必读GAN → DDPM → DALL·E 2 → Sora这条线串起来就是生成模型的全部精华。路线四目标检测 从 R-CNN 到 DETR检测范式演进R-CNN (2014) Two-stage 开山 Fast R-CNN (2015) Faster R-CNN (2015) RPN ROI Pooling ⭐ ↓ SSD (2016) Single stage YOLO (2016) You Only Look Once ↓ DETR (2020) Transformer 检测 ⭐路线五大语言模型 从 GPT-1 到 Llama 3.1大模型演进完整路线GPT → GPT-2 → GPT-3 (2020) 自回归语言模型 ⭐ ↓ InstructGPT (2022) RLHF 对齐 ⭐ ↓ GPT-4 (2023) 多模态大模型 ⭐ ↓ Llama 3.1 (2024) 开源大模型 ⭐ · 1. 导言 · 2. 预训练数据 · 3. 模型架构 · 4. 训练 Infra · 5. 训练过程 ↓ Anthropic LLM 安全对齐 HELM 全面评测 Chain of Thought 思维链 ⭐必读GPT-3 → InstructGPT → GPT-4 → Llama 3.1这是理解大模型的核心路线。路线六多模态 CLIP → ViLT → CLIP 改进串讲 → 多模态论文串讲CLIP (2021) 对比学习图文对齐 ⭐ ↓ ViLT (2021) 极简多模态 Transformer ↓ CLIP 改进串讲上/下 CLIP 生态全景 ↓ 多模态串讲上/下 多模态论文全景路线七分布式训练 ⚡大规模训练的核心系统工作Parameter Server (2014) 分布式训练奠基 ⭐ ↓ GPipe (2019) 流水线并行 ↓ Megatron LM (2019) 张量并行 ⭐ ↓ ZeRO (2020) 零冗余优化 ⭐ ↓ Pathways (2022) 谷歌分布式架构路线八视频理解 Two-Stream (2014) 双流网络 ↓ I3D (2017) 3D 卷积 ↓ 视频理解串讲上/下 视频理解综述 ↓ Whisper (2022) 语音识别 ⭐4. 精读论文完整清单已录制视频32 期#日期论文时长亮点110/06/21如何读论文6:39方法论210/14/21AlexNet9 年后重读19:59奠基作回顾310/15/21AlexNet 逐段精读55:21深度学习起源410/21/21ResNet撑起 CV 半边天11:50直觉版510/22/21ResNet 逐段精读53:46公式版610/27/21Transformer 逐段精读1:27:05⭐ 必读711/03/21GNN/GCN 零基础详解1:06:19图神经网络811/09/21GAN 逐段精读46:16生成模型起源911/18/21BERT 逐段精读45:49NLM 里程碑1011/29/21ViT 逐段精读1:11:30Transformer 进 CV1112/08/21MAE 逐段精读47:04BERT 的 CV 版1212/15/21MoCo 逐段精读1:24:11对比学习经典1312/20/21对比学习论文综述1:32:01⭐ 全景梳理1401/15/22Swin Transformer 精读1:00:21层次化 ViT1501/23/22AlphaFold 2 精读1:15:28AI生物1602/10/22CLIP 逐段精读1:38:25⭐ 多模态里程碑1703/03/22GPT/GPT-2/GPT-3 精读1:29:58⭐ LLM 起源1803/10/22OpenAI Codex 精读47:58代码生成1903/17/22AlphaCode 精读44:00竞赛级编程2004/21/22Parameter Server 精读1:37:40分布式奠基2105/27/22GPipe 逐段精读58:47流水线并行2206/03/22Megatron LM 精读56:07张量并行2306/10/22DETR 逐段精读54:22Transformer 检测2406/17/22ZeRO 逐段精读52:21零冗余优化2507/08/22DALL·E 2 逐段精读1:27:54⭐ 文生图2609/02/22CLIP 改进串讲上1:14:43CLIP 生态2710/23/22Chain of Thought33:21⭐ 思维链2811/14/22Whisper 精读1:12:16语音识别2912/29/22InstructGPT1:07:10⭐ RLHF3003/30/23GPT-41:20:38⭐ 多模态大模型317-9/24Llama 3.15 期连载~2h⭐ 开源大模型3201/10/25Sora Movie Gen HunyuanVideo1:04:18⭐ 视频生成 标注 ⭐ 的是强烈推荐的必读视频每期都是百万级播放量。5. 特色不只读论文还教做科研《研究的艺术》4 讲李沐不仅教读论文还教你做科研。基于芝加哥大学经典教材The Craft of Research录制了 4 期特别节目期数主题时长核心内容一跟读者建立联系45:01你的研究写给谁看如何建立与读者的连接二明白问题的重要性1:03:40什么才是值得研究的问题如何论证重要性三如何讲好故事、论点43:56研究写作的叙事结构如何构建论点四理由、论据和担保44:14如何用证据支撑论点如何回应质疑其他特别节目标题时长主题如何读论文6:39论文阅读方法论如何判断研究工作的价值9:59选题与评估如何找研究想法5:34发现研究 gap论文不够 novel14:11关于新颖性的思考大模型时代做科研的四个思路1:06:29⭐ 穷人怎么做研究6. 如何使用这个项目学习路径建议 入门路径0 基础1. 如何读论文6 分钟 2. AlexNet 重读 → AlexNet 精读 3. ResNet 重读 → ResNet 精读 4. Transformer 精读 5. BERT 精读 进阶路径有基础1. Transformer 精读复习 2. GPT/GPT-2/GPT-3 精读 3. InstructGPT 精读 4. GPT-4 精读 5. Llama 3.15 期连载 6. 大模型时代做科研的四个思路 前沿路径看最新进展1. CLIP 精读 → CLIP 改进串讲 2. MAE 精读 → ViT 精读 → Swin Transformer 3. DDPM → DALL·E 2 → Sora 4. Chain of Thought 5. Llama 3.1 全 5 期观看渠道平台链接特点B 站跟李沐学AI中文字幕弹幕互动YouTubeMu Li无地区限制知乎李沐知乎号部分视频同步配套资源资源链接说明《动手学深度学习》d2l.ai系统教材直播课c.d2l.ai/zh-v2视频课程GitHub 讨论Discussions建议选题7. 优缺点与学习建议✅ 优点维度评分说明深度⭐⭐⭐⭐⭐真正逐段精读不是泛泛而谈广度⭐⭐⭐⭐⭐67 篇论文8 大方向全覆盖中文讲解⭐⭐⭐⭐⭐中文 AI 社区最高质量论文精读设计思路⭐⭐⭐⭐⭐不只讲是什么更讲为什么串讲⭐⭐⭐⭐论文之间的脉络讲得清楚更新频率⭐⭐⭐⭐持续更新到 2025 年 Sora⚠️ 注意事项事项说明视频较长单期 40-90 分钟需要专注时间更新不固定非定期更新取决于作者时间部分方向未录制67 篇中已录制 32 期约一半前置知识需要一定 ML/DL 基础纯小白建议先看 d2l代码实操少以论文讲解为主实操参考 d2l 教材 学习建议不要贪多一次精读一篇比泛读十篇更有价值先看直觉版如 ResNet 先看 11 分钟的直觉版再看 53 分钟的公式版边看边记每期看完写 3 句话总结——做了什么、为什么这么做、效果如何配合 d2l论文精读是为什么d2l 是怎么做两条线并行参与讨论在 GitHub Discussions 建议选题、提问讨论8. 总结李沐论文精读项目是中文 AI 社区的无价之宝67 篇经典论文从 AlexNet 到 Sora深度学习十年精华逐段精读不是讲个大概是带你每一行都读懂8 大方向路线图CNN / ViT / 生成模型 / 检测 / LLM / 多模态 / 分布式 / 视频理解《研究的艺术》4 讲不只教读论文还教做科研B 站百万播放每期都是精打细磨的精品内容作者背景Parameter Server 作者、d2l 作者、亚马逊首席科学家推荐指数⭐⭐⭐⭐⭐无论你是刚入门的 AI 学生还是想系统补课的工程师这个项目都是你最好的论文学习伙伴。花 50 分钟看一期精读胜过自己啃 5 小时论文。 项目地址https://github.com/mli/paper-reading标签#论文精读 #李沐 #Transformer #GPT #大模型 #AI学习路线
李沐论文精读合集：67 篇深度学习经典论文逐段精读，从 AlexNet 到 Sora，B 站播放百万级的 AI 自学圣经
发布时间：2026/6/10 17:40:20
李沐论文精读合集67 篇深度学习经典论文逐段精读从 AlexNet 到 SoraB 站播放百万级的 AI 自学圣经 学深度学习读不懂论文跟着李沐逐段精读从 AlexNet 到 Sora从 Transformer 到 GPT-467 篇经典论文逐段拆解每篇 40-90 分钟深度讲解B 站百万播放量的论文精读项目。涵盖 CNN 架构演进、Transformer 全家桶、生成模型、分布式训练、大语言模型、多模态等 8 大方向配套《研究的艺术》4 讲教你做科研。全网最系统的 AI 论文学习路线没有之一。 目录1. 项目是什么2. 为什么你需要它3. 8 大方向论文路线图4. 精读论文完整清单5. 特色不只读论文还教做科研6. 如何使用这个项目7. 优缺点与学习建议8. 总结1. 项目是什么paper-reading是亚马逊资深首席科学家李沐Mu Li发起的深度学习论文逐段精读项目。核心理念不是给你讲个大概而是带着你逐段读完让你真正读懂每一行论文。 项目地址https://github.com/mli/paper-reading B 站频道跟李沐学AI YouTubeMu Li 配套教材《动手学深度学习》d2l.ai⭐ GitHub Star26K 总论文数67 篇 已录制32 期李沐是谁身份说明亚马逊资深首席科学家从事 AI 研究与系统开发《动手学深度学习》作者全球最畅销的中文深度学习教材Parameter Server 作者分布式训练经典论文OSDI’14MXNet 联合创始人深度学习框架B 站百万粉丝 UP 主论文精读播放量累计过亿一个既做过系统、又做过算法、还写得了教材、讲得了课的 AI 全栈大佬。2. 为什么你需要它读论文的三个层次层次说明你可能在哪❶ 知道名字听说过 Transformer、BERT但不清楚细节入门❷ 读过摘要知道做了什么、结果多好但没看实现初级❸ 逐段精读每一行公式都理解知道为什么这么设计进阶李沐的精读带你从 ❶ 直达 ❸。传统读论文的痛点痛点李沐精读的解法英文论文读不下去中文逐段讲解不用查词典公式看不懂逐步推导从直觉到形式化不知道为什么这么设计讲设计思路不只讲是什么还讲为什么不知道论文之间的关系串讲讲清楚前后文脉络读完了还是不会做科研《研究的艺术》4 讲教方法论没有系统学习路线8 大方向分类从基础到前沿3. 8 大方向论文路线图路线一CNN 架构演进 ️从 AlexNet 到 EfficientNet看 CNN 架构十年进化史AlexNet (2012) 深度学习奠基作 ↓ VGG (2014) 用 3×3 卷积堆叠更深网络 GoogleNet (2014) 并行架构 Inception ↓ ResNet (2015) 残差连接撑起 CV 半边天 ⭐ ↓ MobileNet (2017) 终端设备轻量 CNN EfficientNet (2019) 架构搜索 SOTA Non-deep Networks (2021) 不深的网络也能刷 SOTA必读AlexNet → ResNet这两篇理解了CNN 架构演进的主线就通了。路线二Vision Transformer Transformer 从 NLP 杀入 CV 的完整路径Transformer (2017) Attention Is All You Need ⭐ ↓ ViT (2020) 图像当 16×16 words ⭐ ↓ Swin Transformer (2021) 层次化 ViT ⭐ MLP-Mixer (2021) 用 MLP 替代 Attention ↓ MAE (2021) BERT 的 CV 版 ⭐必读Transformer → ViT → MAE理解 ViT 的来龙去脉。路线三生成模型 从 GAN 到 Diffusion 到 DALL·E 2生成模型十年演进GAN (2014) 生成模型开创工作 ⭐ ↓ DCGAN → WGAN → CycleGAN → StyleGAN → StyleGAN2 → StyleGAN3 ↓ DDPM (2020) Diffusion Models ⭐ Improved DDPM → Guided Diffusion ↓ DALL·E 2 (2022) CLIP Diffusion ⭐ ↓ Sora (2024) 视频生成 ⭐ Movie Gen (2024) 精确视频编辑 HunyuanVideo (2025) 开源视频生成必读GAN → DDPM → DALL·E 2 → Sora这条线串起来就是生成模型的全部精华。路线四目标检测 从 R-CNN 到 DETR检测范式演进R-CNN (2014) Two-stage 开山 Fast R-CNN (2015) Faster R-CNN (2015) RPN ROI Pooling ⭐ ↓ SSD (2016) Single stage YOLO (2016) You Only Look Once ↓ DETR (2020) Transformer 检测 ⭐路线五大语言模型 从 GPT-1 到 Llama 3.1大模型演进完整路线GPT → GPT-2 → GPT-3 (2020) 自回归语言模型 ⭐ ↓ InstructGPT (2022) RLHF 对齐 ⭐ ↓ GPT-4 (2023) 多模态大模型 ⭐ ↓ Llama 3.1 (2024) 开源大模型 ⭐ · 1. 导言 · 2. 预训练数据 · 3. 模型架构 · 4. 训练 Infra · 5. 训练过程 ↓ Anthropic LLM 安全对齐 HELM 全面评测 Chain of Thought 思维链 ⭐必读GPT-3 → InstructGPT → GPT-4 → Llama 3.1这是理解大模型的核心路线。路线六多模态 CLIP → ViLT → CLIP 改进串讲 → 多模态论文串讲CLIP (2021) 对比学习图文对齐 ⭐ ↓ ViLT (2021) 极简多模态 Transformer ↓ CLIP 改进串讲上/下 CLIP 生态全景 ↓ 多模态串讲上/下 多模态论文全景路线七分布式训练 ⚡大规模训练的核心系统工作Parameter Server (2014) 分布式训练奠基 ⭐ ↓ GPipe (2019) 流水线并行 ↓ Megatron LM (2019) 张量并行 ⭐ ↓ ZeRO (2020) 零冗余优化 ⭐ ↓ Pathways (2022) 谷歌分布式架构路线八视频理解 Two-Stream (2014) 双流网络 ↓ I3D (2017) 3D 卷积 ↓ 视频理解串讲上/下 视频理解综述 ↓ Whisper (2022) 语音识别 ⭐4. 精读论文完整清单已录制视频32 期#日期论文时长亮点110/06/21如何读论文6:39方法论210/14/21AlexNet9 年后重读19:59奠基作回顾310/15/21AlexNet 逐段精读55:21深度学习起源410/21/21ResNet撑起 CV 半边天11:50直觉版510/22/21ResNet 逐段精读53:46公式版610/27/21Transformer 逐段精读1:27:05⭐ 必读711/03/21GNN/GCN 零基础详解1:06:19图神经网络811/09/21GAN 逐段精读46:16生成模型起源911/18/21BERT 逐段精读45:49NLM 里程碑1011/29/21ViT 逐段精读1:11:30Transformer 进 CV1112/08/21MAE 逐段精读47:04BERT 的 CV 版1212/15/21MoCo 逐段精读1:24:11对比学习经典1312/20/21对比学习论文综述1:32:01⭐ 全景梳理1401/15/22Swin Transformer 精读1:00:21层次化 ViT1501/23/22AlphaFold 2 精读1:15:28AI生物1602/10/22CLIP 逐段精读1:38:25⭐ 多模态里程碑1703/03/22GPT/GPT-2/GPT-3 精读1:29:58⭐ LLM 起源1803/10/22OpenAI Codex 精读47:58代码生成1903/17/22AlphaCode 精读44:00竞赛级编程2004/21/22Parameter Server 精读1:37:40分布式奠基2105/27/22GPipe 逐段精读58:47流水线并行2206/03/22Megatron LM 精读56:07张量并行2306/10/22DETR 逐段精读54:22Transformer 检测2406/17/22ZeRO 逐段精读52:21零冗余优化2507/08/22DALL·E 2 逐段精读1:27:54⭐ 文生图2609/02/22CLIP 改进串讲上1:14:43CLIP 生态2710/23/22Chain of Thought33:21⭐ 思维链2811/14/22Whisper 精读1:12:16语音识别2912/29/22InstructGPT1:07:10⭐ RLHF3003/30/23GPT-41:20:38⭐ 多模态大模型317-9/24Llama 3.15 期连载~2h⭐ 开源大模型3201/10/25Sora Movie Gen HunyuanVideo1:04:18⭐ 视频生成 标注 ⭐ 的是强烈推荐的必读视频每期都是百万级播放量。5. 特色不只读论文还教做科研《研究的艺术》4 讲李沐不仅教读论文还教你做科研。基于芝加哥大学经典教材The Craft of Research录制了 4 期特别节目期数主题时长核心内容一跟读者建立联系45:01你的研究写给谁看如何建立与读者的连接二明白问题的重要性1:03:40什么才是值得研究的问题如何论证重要性三如何讲好故事、论点43:56研究写作的叙事结构如何构建论点四理由、论据和担保44:14如何用证据支撑论点如何回应质疑其他特别节目标题时长主题如何读论文6:39论文阅读方法论如何判断研究工作的价值9:59选题与评估如何找研究想法5:34发现研究 gap论文不够 novel14:11关于新颖性的思考大模型时代做科研的四个思路1:06:29⭐ 穷人怎么做研究6. 如何使用这个项目学习路径建议 入门路径0 基础1. 如何读论文6 分钟 2. AlexNet 重读 → AlexNet 精读 3. ResNet 重读 → ResNet 精读 4. Transformer 精读 5. BERT 精读 进阶路径有基础1. Transformer 精读复习 2. GPT/GPT-2/GPT-3 精读 3. InstructGPT 精读 4. GPT-4 精读 5. Llama 3.15 期连载 6. 大模型时代做科研的四个思路 前沿路径看最新进展1. CLIP 精读 → CLIP 改进串讲 2. MAE 精读 → ViT 精读 → Swin Transformer 3. DDPM → DALL·E 2 → Sora 4. Chain of Thought 5. Llama 3.1 全 5 期观看渠道平台链接特点B 站跟李沐学AI中文字幕弹幕互动YouTubeMu Li无地区限制知乎李沐知乎号部分视频同步配套资源资源链接说明《动手学深度学习》d2l.ai系统教材直播课c.d2l.ai/zh-v2视频课程GitHub 讨论Discussions建议选题7. 优缺点与学习建议✅ 优点维度评分说明深度⭐⭐⭐⭐⭐真正逐段精读不是泛泛而谈广度⭐⭐⭐⭐⭐67 篇论文8 大方向全覆盖中文讲解⭐⭐⭐⭐⭐中文 AI 社区最高质量论文精读设计思路⭐⭐⭐⭐⭐不只讲是什么更讲为什么串讲⭐⭐⭐⭐论文之间的脉络讲得清楚更新频率⭐⭐⭐⭐持续更新到 2025 年 Sora⚠️ 注意事项事项说明视频较长单期 40-90 分钟需要专注时间更新不固定非定期更新取决于作者时间部分方向未录制67 篇中已录制 32 期约一半前置知识需要一定 ML/DL 基础纯小白建议先看 d2l代码实操少以论文讲解为主实操参考 d2l 教材 学习建议不要贪多一次精读一篇比泛读十篇更有价值先看直觉版如 ResNet 先看 11 分钟的直觉版再看 53 分钟的公式版边看边记每期看完写 3 句话总结——做了什么、为什么这么做、效果如何配合 d2l论文精读是为什么d2l 是怎么做两条线并行参与讨论在 GitHub Discussions 建议选题、提问讨论8. 总结李沐论文精读项目是中文 AI 社区的无价之宝67 篇经典论文从 AlexNet 到 Sora深度学习十年精华逐段精读不是讲个大概是带你每一行都读懂8 大方向路线图CNN / ViT / 生成模型 / 检测 / LLM / 多模态 / 分布式 / 视频理解《研究的艺术》4 讲不只教读论文还教做科研B 站百万播放每期都是精打细磨的精品内容作者背景Parameter Server 作者、d2l 作者、亚马逊首席科学家推荐指数⭐⭐⭐⭐⭐无论你是刚入门的 AI 学生还是想系统补课的工程师这个项目都是你最好的论文学习伙伴。花 50 分钟看一期精读胜过自己啃 5 小时论文。 项目地址https://github.com/mli/paper-reading标签#论文精读 #李沐 #Transformer #GPT #大模型 #AI学习路线
