RWKV-LM 生态图谱700社区项目、GGUF与移动端WebGPU部署一站式指南【免费下载链接】RWKV-LMRWKV (pronounced RwaKuv) is an RNN with great LLM performance, which can also be directly trained like a GPT transformer (parallelizable). We are at RWKV-7 Goose. So its combining the best of RNN and transformer - great performance, linear time, constant space (no kv-cache), fast training, infinite ctx_len, and free sentence embedding.项目地址: https://gitcode.com/gh_mirrors/rw/RWKV-LMRWKV-LM是当今最活跃的 RNN 大语言模型LLM开源仓库之一。它既是 RWKV读音 RwaKuv从 v1 到 v8 全部参考实现的家也汇聚了700 社区项目覆盖 GGUF 量化、移动端推理、WebGPU 浏览器部署、PEFT 微调、RLHF 强化学习等方向。无论你是想在消费级硬件上跑 LLM还是想训练自己的 RWKV 模型这份生态图谱都能帮你快速找到入口 。RWKV-LM 是什么RNN 与 Transformer 的全能混合体RWKV 是一个线性时间、恒定显存无 KV-Cache、100% 无注意力的纯 RNN 架构却能达到 Transformer 级别的 LLM 性能。更妙的是它有两种运行模式GPT 模式并行像训练 Transformer 一样并行训练速度快RNN 模式自回归推理时逐 token 计算速度恒定、显存恒定这意味着它同时拿到了两者的好处高性能、快训练、无限上下文长度以及免费的句子嵌入直接用最终隐状态做 embedding。RWKV-7 Goose 是当前的主力版本它还是一个meta-in-context learner——在每个 token 上通过上下文内梯度下降来训练自己的状态。下图展示了它在 NIAH大海捞针长上下文测试中的表现只用 4K 上下文训练的模型就能自动外推到 32K 上下文 ✅700 社区项目一个如何长大的生态RWKV-LM 仓库本身按版本组织完整保留了从 v1 到 v8 的演进历史版本目录亮点v1 / v2RWKV-v1/、RWKV-v2-RNN/最早的并行 RNN 原型附 CUDA kernelv3 / v4RWKV-v3/、RWKV-v4/、RWKV-v4neo/预训练大模型时代的主力附 20B tokenizerv5 / v6RWKV-v5/多头化 动态衰减Dynamic Decay附完整训练管线v7 GooseRWKV-v7/当前主力稳定无尖峰、可数学推理、7.2B 旗舰v8 HeronRWKV-v8/引入 ROSA快速在线后缀自动机记忆组件在同等参数量下RWKV 在 LAMBADA、PIQA 等基准上表现亮眼下图是 RWKV-6.0 Finch 与多款同规模模型的横评社区项目正是围绕这些版本生长出来的README 中列出的 700 项目横跨训练、推理、量化、多模态、工具链等所有环节是理解生态的最佳索引README.md。GGUF 量化让 RWKV 模型跑在消费级硬件上GGUF 是目前 LLM 社区最通用的量化格式llama.cpp 生态。RWKV 生态拥有专门的 GGUF 权重集合如社区维护的 rwkv7 GGUF 系列让你可以用llama.cpp 风格的推理引擎加载 RWKV 模型选择 Q4/Q8/F16 等不同量化级别平衡速度与精度在纯 CPU 或低显存设备上流畅推理配合 RWKV 本身无 KV-Cache 的特性长上下文推理时的显存占用是恒定的——这正是 GGUF 量化场景下最被看重的能力之一 移动端与 WebGPU 部署LLM 装进口袋和浏览器RWKV 的 RNN 特性只做矩阵-向量乘法、无 KV 缓存对端侧设备极其友好生态中有几条成熟的部署路线部署方式代表项目特点移动端推理库rwkv-mobile专为 iOS/Android 优化的移动端推理库WebGPU 推理ai00_rwkv_server支持 NVIDIA/AMD/Intel 显卡的浏览器最快推理WebGPU 后端web-rwkv浏览器端后端配套 Gradio 聊天演示桌面 GUIRWKV-Runner开箱即用的图形化运行工具带 ReleaseC 高性能推理rwkv.cpp支持 int4/int8/fp16/fp32 的 CPU/cuBLAS/CLBlast 推理RWKV Chat 应用RWKV_APP则提供了手机/桌面本地推理的完整产品形态下图是 RWKV 14B 模型在 8K 上下文下的长对话效果此外RWKV 运行时已经进入了 Windows 与 Office 生态端侧 LLM 不再是概念。快速上手从 Clone 到第一次问答git clone https://gitcode.com/gh_mirrors/rw/RWKV-LM克隆后最快的体验路径是 RWKV-7 的三个 demo 脚本只需下载对应权重文件即可运行RWKV-v7/rwkv_v7_demo.py — GPT 模式RWKV-v7/rwkv_v7_demo_rnn.py — RNN 模式RWKV-v7/rwkv_v7_demo_fast.py — 双模式混合最快如果你更喜欢纯 Python 体验RWKV-v7/rwkv_v7_numpy.py 提供了不依赖任何自定义 CUDA kernel 的实现任何 CPU/GPU 都能跑。官方 pip 包rwkv也支持直接安装使用。下图是官方 demo 的经典问答效果训练与微调7GB 显存就够起步RWKV-7 的参考训练实现位于 RWKV-v7/train_temp/默认配置只需 1 张 7G 显存的显卡即可测试。整个流程只需两个脚本RWKV-v7/train_temp/demo-training-prepare.sh — 准备 MiniPile 数据、生成初始权重RWKV-v7/train_temp/demo-training-run.sh — 加载权重开始训练RWKV-7 以训练稳定著称0.1B~2.9B 规模均验证过无 loss 尖峰下图是 MiniPile 上的典型 loss 曲线其他关键工具RWKV-v5/make_data.py把 jsonl 数据转成训练用的 binidx 格式RWKV-v5/compute_magic_prime.py为已有数据计算采样参数数据规模化到 Pile332G tokens见 RWKV-v5/demo-training-run-v7-pile.sh模型数学能力验证Research/rwkv7-g0-7.2b.md生态项目清单按需求选型类别代表项目适用场景高效推理Albatross旗舰推理引擎7.2B fp16 在 RTX5090 上 bsz1 解码 145 token/sbsz960 可达 10250 token/s显存速度恒定制 ️高效推理faster-rwkv、wind_rwkv、faster3a 系列更快的社区 kernel 实现训练nanoRWKV无需自定义 CUDA kernel任意 GPU/CPU 可训练训练RWKV-PEFTLoRA/DoRA/状态微调等参数高效微调训练RWKV-LM-RLHF强化学习人类反馈对齐训练RWKV-infctx-trainer无限上下文长度训练多模态Vision-RWKV、Diffusion-RWKV视觉语言模型、扩散模型多模态SpikeGPT脉冲神经网络SNN方向探索工具链json2bin / rwkv-tokenizer大数据集的高速 tokenization评测rwkv_mmlu_eval.pyMMLU 等基准评测仓库内附 RWKV-v7/rwkv_mmlu_eval.py 与 MMLU 数据集服务化ai00_server把 RWKV 包装成 API 服务前沿探索ROSA 系列rosa_soft、rosa-plus 等为 RWKV-8 训练/扩展 ROSA 记忆组件 提示社区项目的完整清单持续更新中建议以 README.md 中的 Cool Community RWKV Projects 一节为准。总结RWKV-LM 不只是一个模型仓库而是700 项目组成的完整 LLM 生态想体验→ GGUF 量化版 Albatross 推理消费级硬件即可跑想端侧→ rwkv-mobile 上手机ai00_rwkv_server 进浏览器想训练→ train_temp 参考实现7GB 显存起步、无尖峰想研究→ v1 到 v8 的完整演进史 多模态与 SNN 前沿方向RWKV 用RNN 的性能 Transformer 的训练方式证明了一条不同的 LLM 路线而其真正的护城河是这套持续生长、人人可参与的开源生态 【免费下载链接】RWKV-LMRWKV (pronounced RwaKuv) is an RNN with great LLM performance, which can also be directly trained like a GPT transformer (parallelizable). We are at RWKV-7 Goose. So its combining the best of RNN and transformer - great performance, linear time, constant space (no kv-cache), fast training, infinite ctx_len, and free sentence embedding.项目地址: https://gitcode.com/gh_mirrors/rw/RWKV-LM创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 RWKV-LM 生态图谱：700+社区项目、GGUF与移动端WebGPU部署一站式指南
RWKV-LM 生态图谱700社区项目、GGUF与移动端WebGPU部署一站式指南【免费下载链接】RWKV-LMRWKV (pronounced RwaKuv) is an RNN with great LLM performance, which can also be directly trained like a GPT transformer (parallelizable). We are at RWKV-7 Goose. So its combining the best of RNN and transformer - great performance, linear time, constant space (no kv-cache), fast training, infinite ctx_len, and free sentence embedding.项目地址: https://gitcode.com/gh_mirrors/rw/RWKV-LMRWKV-LM是当今最活跃的 RNN 大语言模型LLM开源仓库之一。它既是 RWKV读音 RwaKuv从 v1 到 v8 全部参考实现的家也汇聚了700 社区项目覆盖 GGUF 量化、移动端推理、WebGPU 浏览器部署、PEFT 微调、RLHF 强化学习等方向。无论你是想在消费级硬件上跑 LLM还是想训练自己的 RWKV 模型这份生态图谱都能帮你快速找到入口 。RWKV-LM 是什么RNN 与 Transformer 的全能混合体RWKV 是一个线性时间、恒定显存无 KV-Cache、100% 无注意力的纯 RNN 架构却能达到 Transformer 级别的 LLM 性能。更妙的是它有两种运行模式GPT 模式并行像训练 Transformer 一样并行训练速度快RNN 模式自回归推理时逐 token 计算速度恒定、显存恒定这意味着它同时拿到了两者的好处高性能、快训练、无限上下文长度以及免费的句子嵌入直接用最终隐状态做 embedding。RWKV-7 Goose 是当前的主力版本它还是一个meta-in-context learner——在每个 token 上通过上下文内梯度下降来训练自己的状态。下图展示了它在 NIAH大海捞针长上下文测试中的表现只用 4K 上下文训练的模型就能自动外推到 32K 上下文 ✅700 社区项目一个如何长大的生态RWKV-LM 仓库本身按版本组织完整保留了从 v1 到 v8 的演进历史版本目录亮点v1 / v2RWKV-v1/、RWKV-v2-RNN/最早的并行 RNN 原型附 CUDA kernelv3 / v4RWKV-v3/、RWKV-v4/、RWKV-v4neo/预训练大模型时代的主力附 20B tokenizerv5 / v6RWKV-v5/多头化 动态衰减Dynamic Decay附完整训练管线v7 GooseRWKV-v7/当前主力稳定无尖峰、可数学推理、7.2B 旗舰v8 HeronRWKV-v8/引入 ROSA快速在线后缀自动机记忆组件在同等参数量下RWKV 在 LAMBADA、PIQA 等基准上表现亮眼下图是 RWKV-6.0 Finch 与多款同规模模型的横评社区项目正是围绕这些版本生长出来的README 中列出的 700 项目横跨训练、推理、量化、多模态、工具链等所有环节是理解生态的最佳索引README.md。GGUF 量化让 RWKV 模型跑在消费级硬件上GGUF 是目前 LLM 社区最通用的量化格式llama.cpp 生态。RWKV 生态拥有专门的 GGUF 权重集合如社区维护的 rwkv7 GGUF 系列让你可以用llama.cpp 风格的推理引擎加载 RWKV 模型选择 Q4/Q8/F16 等不同量化级别平衡速度与精度在纯 CPU 或低显存设备上流畅推理配合 RWKV 本身无 KV-Cache 的特性长上下文推理时的显存占用是恒定的——这正是 GGUF 量化场景下最被看重的能力之一 移动端与 WebGPU 部署LLM 装进口袋和浏览器RWKV 的 RNN 特性只做矩阵-向量乘法、无 KV 缓存对端侧设备极其友好生态中有几条成熟的部署路线部署方式代表项目特点移动端推理库rwkv-mobile专为 iOS/Android 优化的移动端推理库WebGPU 推理ai00_rwkv_server支持 NVIDIA/AMD/Intel 显卡的浏览器最快推理WebGPU 后端web-rwkv浏览器端后端配套 Gradio 聊天演示桌面 GUIRWKV-Runner开箱即用的图形化运行工具带 ReleaseC 高性能推理rwkv.cpp支持 int4/int8/fp16/fp32 的 CPU/cuBLAS/CLBlast 推理RWKV Chat 应用RWKV_APP则提供了手机/桌面本地推理的完整产品形态下图是 RWKV 14B 模型在 8K 上下文下的长对话效果此外RWKV 运行时已经进入了 Windows 与 Office 生态端侧 LLM 不再是概念。快速上手从 Clone 到第一次问答git clone https://gitcode.com/gh_mirrors/rw/RWKV-LM克隆后最快的体验路径是 RWKV-7 的三个 demo 脚本只需下载对应权重文件即可运行RWKV-v7/rwkv_v7_demo.py — GPT 模式RWKV-v7/rwkv_v7_demo_rnn.py — RNN 模式RWKV-v7/rwkv_v7_demo_fast.py — 双模式混合最快如果你更喜欢纯 Python 体验RWKV-v7/rwkv_v7_numpy.py 提供了不依赖任何自定义 CUDA kernel 的实现任何 CPU/GPU 都能跑。官方 pip 包rwkv也支持直接安装使用。下图是官方 demo 的经典问答效果训练与微调7GB 显存就够起步RWKV-7 的参考训练实现位于 RWKV-v7/train_temp/默认配置只需 1 张 7G 显存的显卡即可测试。整个流程只需两个脚本RWKV-v7/train_temp/demo-training-prepare.sh — 准备 MiniPile 数据、生成初始权重RWKV-v7/train_temp/demo-training-run.sh — 加载权重开始训练RWKV-7 以训练稳定著称0.1B~2.9B 规模均验证过无 loss 尖峰下图是 MiniPile 上的典型 loss 曲线其他关键工具RWKV-v5/make_data.py把 jsonl 数据转成训练用的 binidx 格式RWKV-v5/compute_magic_prime.py为已有数据计算采样参数数据规模化到 Pile332G tokens见 RWKV-v5/demo-training-run-v7-pile.sh模型数学能力验证Research/rwkv7-g0-7.2b.md生态项目清单按需求选型类别代表项目适用场景高效推理Albatross旗舰推理引擎7.2B fp16 在 RTX5090 上 bsz1 解码 145 token/sbsz960 可达 10250 token/s显存速度恒定制 ️高效推理faster-rwkv、wind_rwkv、faster3a 系列更快的社区 kernel 实现训练nanoRWKV无需自定义 CUDA kernel任意 GPU/CPU 可训练训练RWKV-PEFTLoRA/DoRA/状态微调等参数高效微调训练RWKV-LM-RLHF强化学习人类反馈对齐训练RWKV-infctx-trainer无限上下文长度训练多模态Vision-RWKV、Diffusion-RWKV视觉语言模型、扩散模型多模态SpikeGPT脉冲神经网络SNN方向探索工具链json2bin / rwkv-tokenizer大数据集的高速 tokenization评测rwkv_mmlu_eval.pyMMLU 等基准评测仓库内附 RWKV-v7/rwkv_mmlu_eval.py 与 MMLU 数据集服务化ai00_server把 RWKV 包装成 API 服务前沿探索ROSA 系列rosa_soft、rosa-plus 等为 RWKV-8 训练/扩展 ROSA 记忆组件 提示社区项目的完整清单持续更新中建议以 README.md 中的 Cool Community RWKV Projects 一节为准。总结RWKV-LM 不只是一个模型仓库而是700 项目组成的完整 LLM 生态想体验→ GGUF 量化版 Albatross 推理消费级硬件即可跑想端侧→ rwkv-mobile 上手机ai00_rwkv_server 进浏览器想训练→ train_temp 参考实现7GB 显存起步、无尖峰想研究→ v1 到 v8 的完整演进史 多模态与 SNN 前沿方向RWKV 用RNN 的性能 Transformer 的训练方式证明了一条不同的 LLM 路线而其真正的护城河是这套持续生长、人人可参与的开源生态 【免费下载链接】RWKV-LMRWKV (pronounced RwaKuv) is an RNN with great LLM performance, which can also be directly trained like a GPT transformer (parallelizable). We are at RWKV-7 Goose. So its combining the best of RNN and transformer - great performance, linear time, constant space (no kv-cache), fast training, infinite ctx_len, and free sentence embedding.项目地址: https://gitcode.com/gh_mirrors/rw/RWKV-LM创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考