如何在自己的C程序里嵌入万亿参数模型WARP可嵌入公共API实战指南【免费下载链接】warpRun the full 2.78-trillion-parameter Kimi K3 model, DeepSeek V4.1 Flash or GLM-5.3-Flash beyond available RAM by streaming activated weights directly from NVMe. A dependency-free, embeddable C inference engine.项目地址: https://gitcode.com/gh_mirrors/was/warpWARPWeight-Aware Runtime and Paging是一个零依赖、可嵌入的 C 推理引擎它能把 2.78 万亿参数的 Kimi K3、552 B 的 DeepSeek-V4.1-Flash 等超大模型跑在普通笔记本上——核心思路是把模型主干留在内存、把专家权重从 NVMe 磁盘按需流式读取。更关键的是WARP 是一个库优先library first设计官方 CLI 本身就是公共 API 的客户端这意味着你可以在自己的 C 程序里像调用 SQLite 一样调用它。本指南带你用 WARP 可嵌入公共 API 完成从构建静态库到文本生成、图像理解、内存规划的全流程。为什么是可嵌入公共 APIWARP 的设计理念写在公共头文件 src/waste.h 的注释里几条规则对宿主程序非常友好C11、无第三方依赖推理路径只依赖 libc 和 pthreads没有 BLAS、没有 CUDA、没有 Python无全局状态每个实例就是一个waste_ctx你的程序可以同时持有多个模型内存预算由你控制ram_budget_bytes是硬上限不够时会明确报错而不是把你的机器交换到死机错误只返回不打印任何函数都不会调用exit()嵌入行为可控。官方 CLI cli/main.c 和 HTTP 服务端 serve/ 都只用这个头文件里的函数没有任何私享通道——你用 API 能做到的事官方工具一样能做到。一键构建步骤先拿到 libwaste 静态库构建只需要一个 C11 编译器和make支持 macOS、Linuxarm64/x86_64和 WindowsMinGW-w64git clone https://gitcode.com/gh_mirrors/was/warp cd warp make # 产物waste CLI libwaste.a make check # 无模型测试套件自动合成小模型不下载权重make会生成静态库libwaste.aLinux/macOS 上可用make libwaste.dylib/libwaste.so生成动态库供 Python 的 ctypes 使用。编译规则见 Makefile。最小文本生成waste_tokenize waste_generate 两步走WARP 官方提供了三个可直接编译运行的 C 示例都位于 examples/ 目录完整说明见 examples/README.md示例文件作用内存规划examples/api_plan.c不加载权重只读取内存预算文本生成examples/api_text.c词元化提示词并流式生成文本图像文本examples/api_vision.c构建 K3 图像轮次并生成回答以文本生成 examples/api_text.c 为例核心流程只有四步waste_cfg_init(cfg)初始化默认配置设置cfg.ctx_tokens上下文长度waste_open(model_path, cfg, ctx)打开模型容器waste_tokenize(...)把提示词转成 token 数组waste_generate(ctx, tokens, n, params, print_token, NULL)开始生成——每产出一个 token 就会回调你的print_token函数天然支持流式输出到终端或 UI。编译命令与 examples/README.md 完全一致make libwaste.a cc -O2 -stdgnu11 -Isrc examples/api_text.c libwaste.a -lm -lpthread -o example-text ./example-text ~/models/glm53.waste The capital of Italy is生成参数在waste_gen_params结构体里temperature0 为贪心解码、top_p、top_k、max_tokens还支持 GBNF 语法约束输出grammar字段和停止 token。在加载前做内存规划waste_plan_memory这是嵌入场景最实用的函数之一不加载任何权重只读容器清单就能算出这台机器需不需要扛得住。waste_plan_memory(model_path, ctx_tokens, plan)返回floor_bytes硬性最低内存、recommended_bytes含专家缓存的建议值、vision_bytes开启图像会追加多少若预算低于下限waste_open会返回WASTE_E_RAM_BUDGET明确拒绝而不是悄悄交换参考数据GLM-5.3-Flash313B最低 5.14 GBKimi K32.78T最低 29.19 GB——所以一台 16 GB 的笔记本也能嵌入 313 B 模型速度约为 64 GB 机器的 90%。对应的最小示例就是 examples/api_plan.c它把 trunk、state、scratch、floor 逐项打印出来方便你在 UI 里给用户显示你的机器还差多少内存。高级用法图像、会话持久化与统计图像输入多模态嵌入开启cfg.vision 1后按固定顺序三步走——waste_image_add(ctx, photo.png, n)编码图像并得知它占 n 个位置waste_image_expand(...)把提示词里的一个|media_pad|占位符扩成 n 个槽位顺序不能错否则模型只看到一个图像位置再调waste_generate。完整写法可对照 examples/api_vision.c注意其中控制标记和用户文本分开词元化waste_tokenize_markup对模板、waste_tokenize对内容这样用户输入无法伪造控制 token。会话持久化waste_state_save/waste_state_load/waste_state_reset可以独立于生成过程保存整个对话状态。由于 KDA 状态与上下文长度无关、MLA 的 KV 是压缩的会话检查点非常小——适合进程重启后接着聊避免冷启动时花数分钟重新 prefill。性能自省waste_get_stats返回 token 数、专家缓存命中/未命中、磁盘读取字节数、IO 耗时每个 token 的回调waste_token_info里也带命中率和bytes_read够你画进度条、判断专家缓存是否在工作。线程模型要牢记一个waste_ctx不是线程安全的——要么每线程一个上下文要么串行化调用不同上下文之间完全独立。HTTP 服务端 serve/ 就是用一把引擎锁串行化所有请求实现的。常见问题速查预算要不要手动设不需要。ram_budget_bytes 0时引擎会自动保守选择留 1/4 内存给操作系统——这是实测出的分页悬崖不是拍脑袋并打印它选了多大。详见 docs/ENGINE.md。容器放哪必须放内置 NVMe。K3 一个冷 token 要读约 17 GB 专家权重内置 SSD 12.78 GB/s测过的 USB 外置盘只有 0.94 GB/s——差 13 倍。磁盘不够自己转换用 tools/convert.py--reclaim on可以边转边删源分片转换流程说明在 docs/K3.md 和 docs/DS41.md。想对外提供 OpenAI 兼容 API跳过手工嵌入直接python3 -m serve ~/models/k3.waste --port 8000协议细节见 docs/SERVE.md。WARP 目前版本迭代很快公共 API 版本宏在 src/waste.h 中为 0.8.1格式与 API 尚未冻结但CLI 即 API 客户端的架构保证了你写的宿主程序与官方工具享受同等级别的验证——所有层都对齐 PyTorch 参考实现详见 docs/GATES.md。【免费下载链接】warpRun the full 2.78-trillion-parameter Kimi K3 model, DeepSeek V4.1 Flash or GLM-5.3-Flash beyond available RAM by streaming activated weights directly from NVMe. A dependency-free, embeddable C inference engine.项目地址: https://gitcode.com/gh_mirrors/was/warp创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 如何在自己的C程序里嵌入万亿参数模型：WARP可嵌入公共API实战指南
如何在自己的C程序里嵌入万亿参数模型WARP可嵌入公共API实战指南【免费下载链接】warpRun the full 2.78-trillion-parameter Kimi K3 model, DeepSeek V4.1 Flash or GLM-5.3-Flash beyond available RAM by streaming activated weights directly from NVMe. A dependency-free, embeddable C inference engine.项目地址: https://gitcode.com/gh_mirrors/was/warpWARPWeight-Aware Runtime and Paging是一个零依赖、可嵌入的 C 推理引擎它能把 2.78 万亿参数的 Kimi K3、552 B 的 DeepSeek-V4.1-Flash 等超大模型跑在普通笔记本上——核心思路是把模型主干留在内存、把专家权重从 NVMe 磁盘按需流式读取。更关键的是WARP 是一个库优先library first设计官方 CLI 本身就是公共 API 的客户端这意味着你可以在自己的 C 程序里像调用 SQLite 一样调用它。本指南带你用 WARP 可嵌入公共 API 完成从构建静态库到文本生成、图像理解、内存规划的全流程。为什么是可嵌入公共 APIWARP 的设计理念写在公共头文件 src/waste.h 的注释里几条规则对宿主程序非常友好C11、无第三方依赖推理路径只依赖 libc 和 pthreads没有 BLAS、没有 CUDA、没有 Python无全局状态每个实例就是一个waste_ctx你的程序可以同时持有多个模型内存预算由你控制ram_budget_bytes是硬上限不够时会明确报错而不是把你的机器交换到死机错误只返回不打印任何函数都不会调用exit()嵌入行为可控。官方 CLI cli/main.c 和 HTTP 服务端 serve/ 都只用这个头文件里的函数没有任何私享通道——你用 API 能做到的事官方工具一样能做到。一键构建步骤先拿到 libwaste 静态库构建只需要一个 C11 编译器和make支持 macOS、Linuxarm64/x86_64和 WindowsMinGW-w64git clone https://gitcode.com/gh_mirrors/was/warp cd warp make # 产物waste CLI libwaste.a make check # 无模型测试套件自动合成小模型不下载权重make会生成静态库libwaste.aLinux/macOS 上可用make libwaste.dylib/libwaste.so生成动态库供 Python 的 ctypes 使用。编译规则见 Makefile。最小文本生成waste_tokenize waste_generate 两步走WARP 官方提供了三个可直接编译运行的 C 示例都位于 examples/ 目录完整说明见 examples/README.md示例文件作用内存规划examples/api_plan.c不加载权重只读取内存预算文本生成examples/api_text.c词元化提示词并流式生成文本图像文本examples/api_vision.c构建 K3 图像轮次并生成回答以文本生成 examples/api_text.c 为例核心流程只有四步waste_cfg_init(cfg)初始化默认配置设置cfg.ctx_tokens上下文长度waste_open(model_path, cfg, ctx)打开模型容器waste_tokenize(...)把提示词转成 token 数组waste_generate(ctx, tokens, n, params, print_token, NULL)开始生成——每产出一个 token 就会回调你的print_token函数天然支持流式输出到终端或 UI。编译命令与 examples/README.md 完全一致make libwaste.a cc -O2 -stdgnu11 -Isrc examples/api_text.c libwaste.a -lm -lpthread -o example-text ./example-text ~/models/glm53.waste The capital of Italy is生成参数在waste_gen_params结构体里temperature0 为贪心解码、top_p、top_k、max_tokens还支持 GBNF 语法约束输出grammar字段和停止 token。在加载前做内存规划waste_plan_memory这是嵌入场景最实用的函数之一不加载任何权重只读容器清单就能算出这台机器需不需要扛得住。waste_plan_memory(model_path, ctx_tokens, plan)返回floor_bytes硬性最低内存、recommended_bytes含专家缓存的建议值、vision_bytes开启图像会追加多少若预算低于下限waste_open会返回WASTE_E_RAM_BUDGET明确拒绝而不是悄悄交换参考数据GLM-5.3-Flash313B最低 5.14 GBKimi K32.78T最低 29.19 GB——所以一台 16 GB 的笔记本也能嵌入 313 B 模型速度约为 64 GB 机器的 90%。对应的最小示例就是 examples/api_plan.c它把 trunk、state、scratch、floor 逐项打印出来方便你在 UI 里给用户显示你的机器还差多少内存。高级用法图像、会话持久化与统计图像输入多模态嵌入开启cfg.vision 1后按固定顺序三步走——waste_image_add(ctx, photo.png, n)编码图像并得知它占 n 个位置waste_image_expand(...)把提示词里的一个|media_pad|占位符扩成 n 个槽位顺序不能错否则模型只看到一个图像位置再调waste_generate。完整写法可对照 examples/api_vision.c注意其中控制标记和用户文本分开词元化waste_tokenize_markup对模板、waste_tokenize对内容这样用户输入无法伪造控制 token。会话持久化waste_state_save/waste_state_load/waste_state_reset可以独立于生成过程保存整个对话状态。由于 KDA 状态与上下文长度无关、MLA 的 KV 是压缩的会话检查点非常小——适合进程重启后接着聊避免冷启动时花数分钟重新 prefill。性能自省waste_get_stats返回 token 数、专家缓存命中/未命中、磁盘读取字节数、IO 耗时每个 token 的回调waste_token_info里也带命中率和bytes_read够你画进度条、判断专家缓存是否在工作。线程模型要牢记一个waste_ctx不是线程安全的——要么每线程一个上下文要么串行化调用不同上下文之间完全独立。HTTP 服务端 serve/ 就是用一把引擎锁串行化所有请求实现的。常见问题速查预算要不要手动设不需要。ram_budget_bytes 0时引擎会自动保守选择留 1/4 内存给操作系统——这是实测出的分页悬崖不是拍脑袋并打印它选了多大。详见 docs/ENGINE.md。容器放哪必须放内置 NVMe。K3 一个冷 token 要读约 17 GB 专家权重内置 SSD 12.78 GB/s测过的 USB 外置盘只有 0.94 GB/s——差 13 倍。磁盘不够自己转换用 tools/convert.py--reclaim on可以边转边删源分片转换流程说明在 docs/K3.md 和 docs/DS41.md。想对外提供 OpenAI 兼容 API跳过手工嵌入直接python3 -m serve ~/models/k3.waste --port 8000协议细节见 docs/SERVE.md。WARP 目前版本迭代很快公共 API 版本宏在 src/waste.h 中为 0.8.1格式与 API 尚未冻结但CLI 即 API 客户端的架构保证了你写的宿主程序与官方工具享受同等级别的验证——所有层都对齐 PyTorch 参考实现详见 docs/GATES.md。【免费下载链接】warpRun the full 2.78-trillion-parameter Kimi K3 model, DeepSeek V4.1 Flash or GLM-5.3-Flash beyond available RAM by streaming activated weights directly from NVMe. A dependency-free, embeddable C inference engine.项目地址: https://gitcode.com/gh_mirrors/was/warp创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考