32GB 统一内存笔记本跑 15B 大模型338H OpenVINO INT8 的内存真相显存划拨不动账面、页面文件才是真门槛作者玛小扣Koda与自研 agent 风火轮 17 协作完成实测机器Intel Core Ultra 5 338H / 32GB LPDDR5x 统一内存 / Arc B370 iGPU / 1TB NVMe / Windows 11模型Marco-MT-Algharb15BQwen3-14B 底座INT8 量化版已开源modelscope.cn/models/fcpaul/Marco-MT-Algharb-ov-int8标签建议#OpenVINO #Intel Arc #大模型推理 #量化 #LLM #统一内存 #AIPC摘要在 32GB 统一内存的 Intel 338H 轻薄本上我们把 15B 级翻译模型做了 INT8 量化全流程导出 3 分 50 秒零 OOM 一次通过推理 7.4 tokens/s。全程没有出现32GB 机器导出高危 OOM——因为三个实测观测揭示了 Arrow Lake-H 统一内存的真实玩法显存划拨根本不动 Windows 的内存账面GPU专用显存是驱动层重标记、OpenVINO 可以直接问出 GPU 池大小、而页面文件才是导出型任务的真正门槛。文末附一个基于这套物理基础的推理分层脑洞热专家驻显存池、冷专家走 SSD 页面文件供同硬件338H/358H/388H的朋友拍砖。一、TL;DR三个观测显存划拨不动 OS 账面。Intel Graphics Software 划 20GB专用共享显存给 iGPU 后Windows 报告的物理内存纹丝不动31.5GB。所谓专用显存是统一内存里的驱动层访问权划分不是容量扣减——CPU 和 GPU 从头到尾看着同一堆 LPDDR5x。GPU 池大小可以直接问出来。OpenVINO 运行时属性一行代码fromopenvinoimportCore coreCore()sizecore.get_property(GPU,GPU_DEVICE_TOTAL_MEM_SIZE)# 实测 25956442112 ≈ 24.2 GiB20GB 划拨 动态共享窗口页面文件是导出型任务的真门槛。判据不是可用 RAM而是CommitLimit 物理内存 页面文件额度。调页面文件前 36.3GB纸面必 OOM调后 55GB——3 分 50 秒导出轻松跑完全程系统流畅。二、实验环境项配置CPU / iGPUCore Ultra 5 338HArrow Lake-H/ Arc B37010 Xe-core内存32GB LPDDR5x 统一内存CPU/iGPU 共享系统Windows 11页面文件 C 盘 24-42GB 动态区间自定义改既有大小即时生效无需重启显存划拨20GBIntel Graphics Software导出阶段不要划推理前划重启软件栈OpenVINO 2026.4 / openvino-genai / optimum-intel 1.26.0 / nncf 2.19.0 / Python 3.11 独立 venv模型Marco-MT-Algharb 15BBF16 六分片 27.51GB → INT8 IR13.76 GiB三、导出实录纸面必 OOM实际 3 分 50 秒指南按权重全量载入预估导出峰值 35-40GB对 32GB 机器判高危。我们的实测路径给出了更精确的口径阶段页面文件CommitLimit结果初始C 盘自管 4.86GB4.86GB36.3GB自检不过按纪律不开工调 C 盘 24-42GB 动态区间24GB可扩 4255GB✅ 开工导出实测——峰值未击穿3 分 50 秒、零 OOM、四件产物齐两个工程细节改既有页面文件大小即时生效新建才要重启——这个和多数人直觉相反峰值内存我们没量到采样器踩了 PowerShell 5.1 无 BOM 编码坑但间接证据一致safetensors 的 mmap 惰性加载可能让35-40GB 峰值在这套栈上根本没有兑现——权重页按需调入纸面峰值被摊平成平滑页流。这和观测 1、2 互为印证同一层物理内存的三处表现。四、推理实录7.4 t/s、EOS 大坑、batch 零增益INT8 decode 7.3-7.5 t/sbatch1 稳定复现比预估快约 1.5×首次加载温启动 19-21s / 冷启动 63s 部署必修坑OpenVINO GenAI 的 IR 不自动继承 generation_config 的 eos——必须手动cfg.stop_token_ids {151643, 151645}注意 pybind 只收 set 不收 list否则译文后无限填充洪水iGPU INT8 下 batch 并行增益 ≈ 0n3 耗时≈3× 单路20-21 t/s 吞吐但无单请求加速——MBR 类多路采样策略在此硬件上性价比要重估质量抽样 10 句 9 句可用术语与否定处理是强项GPU 池全程峰值15.28 GiB63%空闲底噪 0.46 GiB——池子始终宽裕本轮最长 384 token 上下文没有触到触池→页面文件换页→速度跳水的行为边界该边界需 ~32K 上下文 × 多路并发才探得到列为下个实验。五、科研脑洞热-冷分层的穷人版 KTransformersKTransformers 类工作证明了热专家驻显存、冷专家驻内存的分层能跑超大 MoE。统一内存笔记本把这个思路再推一步——CPU 内存和 GPU 显存本来就是同一堆物理内存而页面文件把最冷一层自然延伸到 SSD层 0 系统常驻 ≈ 6GBWin11 精简环境可做到 层 1 热常驻专家 GPU 池 ≈ 26GB划拨后实测口径 层 2 冷低频专家 统一内存余量 / pagefile 异步页 层 3 KV 溢出层 SSDpagefile / 显式 mmap场景脑洞数百专家的 MoE单 token 只激活少数专家——热路径专家常驻 26GB 池冷专家权重躺 SSD 由 pagefile/mmap 按需换入。系统要求可以压到 6GB 级内存的笔记本跑远超裸显存容量的模型。把丑话说前面分层换页走 SSD 带宽冷专家命中时 decode 会跳水到个位数 t/s 甚至更低——能跑和流畅是两回事。值不值得做取决于专家路由的命中率工程局部性与场景离线批处理完全可接受交互式要权衡。这是假设与路线提示不是结论——本轮只验证了物理基础观测 1-3分层实现还是空白。欢迎 338H/358H/388H 的朋友复现拍砖。六、复现要点与局限复现Python 3.11 独立 venvoptimum-cli export openvino --task text-generation-with-past --weight-format int8推理必须手动 stop_token_idsset口径体积以ls -l --block-size1逐分片求和为准Windows 下du簇语义误报近一倍内存判据用CommitLimit而非可用 RAM局限单机单样本上下文压测未做≤384 token峰值内存未逐秒采样358H/388H 未实测同架构推断模型已开源Apache 2.0modelscope.cn/models/fcpaul/Marco-MT-Algharb-ov-int8README 含完整关键数据表。实测数据均出自 2026-09-26 单机实验方法与脚本可复现。转载请注明实测口径。—— 玛小扣Koda 32GB 统一内存笔记本跑 15B 大模型？338H + OpenVINO INT8 的内存真相：显存划拨不动账面、页面文件才是真门槛
32GB 统一内存笔记本跑 15B 大模型338H OpenVINO INT8 的内存真相显存划拨不动账面、页面文件才是真门槛作者玛小扣Koda与自研 agent 风火轮 17 协作完成实测机器Intel Core Ultra 5 338H / 32GB LPDDR5x 统一内存 / Arc B370 iGPU / 1TB NVMe / Windows 11模型Marco-MT-Algharb15BQwen3-14B 底座INT8 量化版已开源modelscope.cn/models/fcpaul/Marco-MT-Algharb-ov-int8标签建议#OpenVINO #Intel Arc #大模型推理 #量化 #LLM #统一内存 #AIPC摘要在 32GB 统一内存的 Intel 338H 轻薄本上我们把 15B 级翻译模型做了 INT8 量化全流程导出 3 分 50 秒零 OOM 一次通过推理 7.4 tokens/s。全程没有出现32GB 机器导出高危 OOM——因为三个实测观测揭示了 Arrow Lake-H 统一内存的真实玩法显存划拨根本不动 Windows 的内存账面GPU专用显存是驱动层重标记、OpenVINO 可以直接问出 GPU 池大小、而页面文件才是导出型任务的真正门槛。文末附一个基于这套物理基础的推理分层脑洞热专家驻显存池、冷专家走 SSD 页面文件供同硬件338H/358H/388H的朋友拍砖。一、TL;DR三个观测显存划拨不动 OS 账面。Intel Graphics Software 划 20GB专用共享显存给 iGPU 后Windows 报告的物理内存纹丝不动31.5GB。所谓专用显存是统一内存里的驱动层访问权划分不是容量扣减——CPU 和 GPU 从头到尾看着同一堆 LPDDR5x。GPU 池大小可以直接问出来。OpenVINO 运行时属性一行代码fromopenvinoimportCore coreCore()sizecore.get_property(GPU,GPU_DEVICE_TOTAL_MEM_SIZE)# 实测 25956442112 ≈ 24.2 GiB20GB 划拨 动态共享窗口页面文件是导出型任务的真门槛。判据不是可用 RAM而是CommitLimit 物理内存 页面文件额度。调页面文件前 36.3GB纸面必 OOM调后 55GB——3 分 50 秒导出轻松跑完全程系统流畅。二、实验环境项配置CPU / iGPUCore Ultra 5 338HArrow Lake-H/ Arc B37010 Xe-core内存32GB LPDDR5x 统一内存CPU/iGPU 共享系统Windows 11页面文件 C 盘 24-42GB 动态区间自定义改既有大小即时生效无需重启显存划拨20GBIntel Graphics Software导出阶段不要划推理前划重启软件栈OpenVINO 2026.4 / openvino-genai / optimum-intel 1.26.0 / nncf 2.19.0 / Python 3.11 独立 venv模型Marco-MT-Algharb 15BBF16 六分片 27.51GB → INT8 IR13.76 GiB三、导出实录纸面必 OOM实际 3 分 50 秒指南按权重全量载入预估导出峰值 35-40GB对 32GB 机器判高危。我们的实测路径给出了更精确的口径阶段页面文件CommitLimit结果初始C 盘自管 4.86GB4.86GB36.3GB自检不过按纪律不开工调 C 盘 24-42GB 动态区间24GB可扩 4255GB✅ 开工导出实测——峰值未击穿3 分 50 秒、零 OOM、四件产物齐两个工程细节改既有页面文件大小即时生效新建才要重启——这个和多数人直觉相反峰值内存我们没量到采样器踩了 PowerShell 5.1 无 BOM 编码坑但间接证据一致safetensors 的 mmap 惰性加载可能让35-40GB 峰值在这套栈上根本没有兑现——权重页按需调入纸面峰值被摊平成平滑页流。这和观测 1、2 互为印证同一层物理内存的三处表现。四、推理实录7.4 t/s、EOS 大坑、batch 零增益INT8 decode 7.3-7.5 t/sbatch1 稳定复现比预估快约 1.5×首次加载温启动 19-21s / 冷启动 63s 部署必修坑OpenVINO GenAI 的 IR 不自动继承 generation_config 的 eos——必须手动cfg.stop_token_ids {151643, 151645}注意 pybind 只收 set 不收 list否则译文后无限填充洪水iGPU INT8 下 batch 并行增益 ≈ 0n3 耗时≈3× 单路20-21 t/s 吞吐但无单请求加速——MBR 类多路采样策略在此硬件上性价比要重估质量抽样 10 句 9 句可用术语与否定处理是强项GPU 池全程峰值15.28 GiB63%空闲底噪 0.46 GiB——池子始终宽裕本轮最长 384 token 上下文没有触到触池→页面文件换页→速度跳水的行为边界该边界需 ~32K 上下文 × 多路并发才探得到列为下个实验。五、科研脑洞热-冷分层的穷人版 KTransformersKTransformers 类工作证明了热专家驻显存、冷专家驻内存的分层能跑超大 MoE。统一内存笔记本把这个思路再推一步——CPU 内存和 GPU 显存本来就是同一堆物理内存而页面文件把最冷一层自然延伸到 SSD层 0 系统常驻 ≈ 6GBWin11 精简环境可做到 层 1 热常驻专家 GPU 池 ≈ 26GB划拨后实测口径 层 2 冷低频专家 统一内存余量 / pagefile 异步页 层 3 KV 溢出层 SSDpagefile / 显式 mmap场景脑洞数百专家的 MoE单 token 只激活少数专家——热路径专家常驻 26GB 池冷专家权重躺 SSD 由 pagefile/mmap 按需换入。系统要求可以压到 6GB 级内存的笔记本跑远超裸显存容量的模型。把丑话说前面分层换页走 SSD 带宽冷专家命中时 decode 会跳水到个位数 t/s 甚至更低——能跑和流畅是两回事。值不值得做取决于专家路由的命中率工程局部性与场景离线批处理完全可接受交互式要权衡。这是假设与路线提示不是结论——本轮只验证了物理基础观测 1-3分层实现还是空白。欢迎 338H/358H/388H 的朋友复现拍砖。六、复现要点与局限复现Python 3.11 独立 venvoptimum-cli export openvino --task text-generation-with-past --weight-format int8推理必须手动 stop_token_idsset口径体积以ls -l --block-size1逐分片求和为准Windows 下du簇语义误报近一倍内存判据用CommitLimit而非可用 RAM局限单机单样本上下文压测未做≤384 token峰值内存未逐秒采样358H/388H 未实测同架构推断模型已开源Apache 2.0modelscope.cn/models/fcpaul/Marco-MT-Algharb-ov-int8README 含完整关键数据表。实测数据均出自 2026-09-26 单机实验方法与脚本可复现。转载请注明实测口径。—— 玛小扣Koda