手机本地跑Qwen3.5这事放在一年前我只会当段子听。但前阵子我实在没忍住把主力机好好折腾了一通最后在Termux里把Qwen3.5的GGUF量化模型稳稳跑了起来断网也能用延迟比预想中低了一大截。所谓“端侧AI杀疯了”杀的不是别的正是“端侧AI、手机本地、离线可用、低延迟”这套组合拳——意味着以后的AI助手、翻译、写作、代码补全都可以彻底甩开云端数据全程留在自己手里。这篇文章适合两类人一类是手上有旗舰手机、想折腾本地大模型但不知道从哪下手的开发者另一类是对隐私和离线有硬需求的重度使用者比如经常出差、坐高铁飞机、公司内网环境受限的朋友。我会把方案选型、模型选择、编译部署、踩坑记录、延迟调优全部写清楚。你不需要有深度学习背景只要会敲几行命令照着操作基本能复现。1. 端侧AI变局为什么“手机本地跑大模型”突然不玄幻了1.1 端侧AI不是新话题但Qwen3.5这波确实不一样端侧AI在这个圈子里喊了好几年。从最初的小模型做图像分类到后来语音识别、OCR上端大家其实早就在享受端侧推理的红利。但那时候的“端侧AI”都是一些几MB到几十MB的专用小模型做的事情也非常单一人脸检测、场景识别、输入法联想。真正意义上的“在手机本地跑一个大语言模型并且能完成通用对话任务”过去一年才慢慢变成现实。Qwen3.5这波之所以让整个社区沸腾关键不在于“模型参数又大了”而是在架构上真正为端侧推理做了妥协和优化。按照官方技术介绍里的说法Qwen3.5引入了Gated DeltaNet门控DeltaNet的混合注意力结构配合滑动窗口注意力在保持长上下文能力的同时把KV Cache从“线性增长”变成了“固定大小”。这直接击穿了端侧推理最大的瓶颈。我把这句话翻译成人话传统模型越聊越久缓存越大手机内存根本撑不住。而Qwen3.5的这套机制等于给模型装了一个容量固定的“笔记本”新内容要写进去就得先划掉部分旧内容。所以哪怕4096甚至8192的上下文内存开销也维持在可以接受的范围。这是过去那些动辄需要几GB甚至几十GB显存的架构做不到的。至于这次为什么又和“端侧AI”四个字绑在一起还有一个现实原因能用。过去开源模型不是不存在但要么体积太大量化之后手机还是带不动要么推理速度慢到每出一个字等半天。Qwen3.5配合4bit量化8B级别的模型压缩到5GB上下旗舰机能跑出每秒十几个token的速度这是从“能装上”到“能用”的根本性转变。社区里越来越多人在讨论“端侧AI硬件部署”这个方向根本原因也在这里——硬件条件终于达到了及格线。1.2 离线才是端侧AI最大的价值点很多人觉得端侧AI的意义是“省钱”不用给云厂商交API费用。这话方向对但真正的护城河其实在离线。云上模型再强网络一断就是废铁。地铁、高铁、地下车库、飞机上移动网络几乎不稳定到让人绝望。这时候手机里有个本地模型哪怕规模小一点也比“网络请求失败请稍后重试”强一百倍。我在实测中最大的感受也是这一点。把Qwen3.5跑在手机上之后我会在完全没有信号的场景下让它帮我改一段文案、润色一篇思路草稿、翻译几句英文甚至写一小段Python脚本。全程不需要任何网络请求数据不出手机隐私层面也彻底闭环了。这对内容创作者和经常在弱网环境下工作的人来说不是锦上添花是雪中送炭。另外离线加载文件的体验也很关键。网上大家搜“office2024离线安装包”“Ollama离线安装包”“VS2022离线安装”这些词的热度常年不低说明大家对离线部署的需求是真的刚。大模型也遵循同样的逻辑——很多人不是不喜欢本地部署而是不想被网络反复折磨。把模型文件一次性拷进手机之后所有使用都在本地完成这种感觉一旦体验过就很难回到“每次都要连云端”的日子。2. 核心原理Gated DeltaNet加上量化内存和速度才算真解决2.1 Gated DeltaNet到底改了什么讲端侧大模型绕不开KV Cache这个话题。稍微有些大模型底子的朋友都知道Transformer推理的时候每个已经生成过的token都会对应一组Key和Value向量存下来供后续注意力计算使用。这个缓存的大小和序列长度成正比上下文越长显存和内存消耗越大。所以在服务器上跑长上下文没问题但放到手机这种内存以GB为单位的设备上KV Cache稍微一膨胀系统就开始杀进程。Qwen3.5采用Gated DeltaNet作为注意力机制的组成部分思路非常直接不要再为每个token都维护完整的KV对而是用一组固定大小的隐藏状态去“总结”历史信息。每次写入新内容时门控机制决定这个新信息有多大价值——重要就保留不重要就忽略同时还会按一定比例遗忘掉旧信息。这样KV Cache不再随长度增长内存占用一下子从“动态上涨”变成“恒定预算”。用生活化的类比来说传统注意力很像一个把所有聊天记录都按字保存的录音笔转录文件越来越大Gated DeltaNet则像一个很会记笔记的人随手把重点提炼成一个结构清晰的小本子本子永远是那么厚。这个思路放到端侧价值是决定性的——它让“上下文长度”这个变量从内存杀手变成了可控参数。当然纯线性注意力也有它的短板长距离精确召回能力不如传统注意力。Qwen3.5的处理方式是混合架构局部信息用滑动窗口注意力精确处理全局信息交给Gated DeltaNet来做压缩和总结。两层搭配既控制了内存又保证回答质量不至于断崖式下降。这也是为什么它在手机本地跑还能保持不错效果的根本原因。2.2 GGUF量化把模型塞进手机内存的最后一公里就算KV Cache解决了模型的权重也是大头。Qwen3.5如果按照默认的BF16精度保存8B参数级别的模型体积大概在16GB左右手机内存根本装不下加载都成问题。所以端侧部署必须走量化路线把权重从16bit压到4bit或更低。这一步是决定方案成败的关键也是“能不能在手机本地跑”和“跑得顺不顺”的分水岭。现在社区里最常见的是GGUF格式配合llama.cpp生态使用。GGUF是专门为大模型本地推理设计的一种模型封装格式支持各种nbit量化方案。以8B模型为例常见的几个档位如下量化档位体积约单token生成速度骁龙8 Gen 3参考内存占用约质量感受FP1616GB跑不动无法加载不作考虑Q8_08.5GB8~10 token/s9.5GB几乎无损Q5_K_M5.4GB12~16 token/s6.2GB基本无损Q4_K_M4.7GB14~18 token/s5.5GB能感知轻微差异这段选择很重要因为同样的模型量化档位不同手机上的表现差距可能是天壤之别。如果你追求极致的生成速度Q4_K_M就是最稳的选择如果你对回答质量要求高、不介意多占一点内存Q5_K_M的性价比也非常高。我个人的做法是主力机放Q4_K_M应对大多数日常任务备用机放Q5_K_M专门用来处理长文本和写代码相关的活。内存的测算也很简单模型文件体积加上KV Cache加上运行时的激活值。以Q4_K_M为例模型4.7GB固定大小的KV Cache按1GB预算算再加256MB的运行时开销总共大概6GB。也就是说12GB内存的手机能跑得很从容8GB内存的手机需要关掉后台App勉强也能跑。内存低于6GB的机器就别指望8B模型了老老实实用Qwen3.5的小尺寸版本体验会好很多。3. 实操手机本地部署Qwen3.5的完整流程3.1 方案选型Termux封装APK还是自己编译现在想在手机上跑开源大模型主流有三条路。第一条是用现成的图形界面App方便但可控性差而且不一定是最新模型。第二条是自己下载Termux在里面编译llama.cpp或MLC-LLM然后手动下载GGUF模型——灵活、可控是最适合折腾党的方案。第三条是使用社区封装好的APK最近有人把基于Termux封装的本地手机端APK打包了出来还开源了构建脚本Pull Request已经发到作者仓库里等合并后大家装APK就能直接跑。我个人的建议是如果你只是想稳定使用优先等社区APK合入或者用现成包如果你想学习原理、之后还想折腾模型微调和推理优化那一定要走一遍自己编译的流程。这次Termux方案在网上的讨论热度也印证了这一点很多人的路径和我一样——先在电脑上搞定模型文件再通过离线包方式搬进手机最后在Termux里跑起来。选择Termux而不是直接在App层封装最大的原因在于生态。Termux是Android上的Linux终端环境能直接跑llama.cpp、Python、Node等一堆工具链后续想配合别的脚本做自动化非常顺手。社区封装APK的最大价值是“开箱即用”——把Termux环境、推理引擎、模型加载脚本全部打成一个包装完就能跑省去中间所有手工步骤。两条路子各有优势我下面先讲自己编译的完整记录。3.2 一步步把自己编译路线跑通以8GB以上内存的手机为例使用llama.cpp作为推理引擎整个流程分五步。第一步安装Termux。注意不要从Google Play安装——那个版本年久失修包管理器经常出问题。请从F-Droid或者Termux官方GitHub release下载最新版装完后打开先执行包更新pkg update pkg upgrade -y第二步安装编译所需的工具链。llama.cpp的构建依赖主要是CMake、Ninja、Clang。如果你的手机处理器支持ARMv8.2的dotprod指令——大部分骁龙和天玑的中高端芯片都支持——编译时记得开启这个优化后面实测速度能提升10%~20%。新版本的llama.cpp会自动检测指令集但手动确认一下更踏实pkg install -y git cmake ninja-build clang第三步克隆llama.cpp仓库并编译。这里的要点是线程数不要设太高手机上编译本来就慢-j4已经能占满CPU了设高了反而容易触发散热降频。整个编译过程大约5到10分钟取决于机器性能git clone https://github.com/ggerganov/llama.cpp cd llama.cpp cmake -B build -DCMAKE_BUILD_TYPERelease -DGGML_NATIVEON cmake --build build -j4第四步准备模型文件。这一步强烈建议在电脑上完成。从模型仓库把Qwen3.5对应尺寸的GGUF文件下载下来注意选择适合自己内存的量化档位。下载完成后用sha256校验一遍文件完整性确认没问题再用数据线或局域网方式传到手机的存储目录。网上大家找“离线安装包”“离线包下载”往往就是为了这一步——模型文件动辄几个GB在线下载不仅慢中途断点还会导致文件损坏离线拷贝是最稳的方式sha256sum qwen3.5-8b-q4_k_m.gguf第五步在Termux里把模型路径指给llama.cpp。假设模型放在/sdcard/Download/models/下直接运行。如果一切正常终端会打印出加载日志然后开始逐字输出回答。第一次加载可能要等十几秒因为要把几个GB的权重读入内存之后的对话就快很多./build/bin/llama-cli \ -m /sdcard/Download/models/qwen3.5-8b-q4_k_m.gguf \ -p 你好简单介绍一下你自己 \ -n 2563.3 硬件要求和模型规格怎么选硬件选型也就是端侧AI硬件部署中最核心的一环这件事很多教程一笔带过但它恰恰是决定整个方案成败的前提。我见过不少人拿着老手机硬上8B模型加载五分钟、生成速度个位数最后得出结论“端侧AI都是噱头”。实际上这中间的差距绝大多数不是模型问题而是设备本身不满足最低需求。所以上手之前先对照下面几个原则评估一下自己的设备。先看内存再看芯片最后看散热。内存12GB及以上的手机8B模型的Q4_K_M或Q5_K_M都可以无脑跑流畅度取决于芯片算力和内存带宽。内存8GB的手机建议选Q4_K_M并在推理前清理后台效果也还行如果同时开微信、相机等大应用模型大概率会被系统杀死这也是为什么社区方案里会专门做一个“专机专用”的引导页。芯片方面影响最大的是内存带宽而不是单纯的CPU频率。大模型解码的瓶颈不在计算而在搬数据——每生成一个token都要把所有权重从内存读一遍。高通骁龙8 Gen 3、天玑9300这代的LPDDR5X带宽足够8B模型跑得起来更早的骁龙888、天玑8100这些机器芯片算力没问题但带宽卡脖子速度会明显下降。这种情况建议用3B/4B级别模型或者更激进的量化档位。散热更不用多说手机没有主动风扇长时间跑推理温度上来后会触发CPU降频速度断崖下跌。实操中我的建议是短会话随便跑长会话打开手机壳、放在通风处或者干脆插着电当“伪笔记本”用。3.4 社区APK方案速览适合不想折腾的人网上有人已经把基于Termux封装的本地手机端APK做好了还在不断迭代。这套方案的核心思路很简单把Termux环境、llama.cpp或MLC-LLM运行时、模型加载脚本全部预置进一个APK安装包里用户装完之后直接从App图标启动不需要打开终端敲命令。我看到的版本还做了离线加载文件的支持首次启动时检测模型目录如果没有就引导用户从本地导入模型文件。这正好解决了很多人不熟悉命令行的问题。这种做法最大的好处是开箱即用Pull Request已经发到开源作者仓库里等合并之后普通用户直接下载release包就能体验。如果你不想自己编译或者担心环境变量配置出错等这个方案落地是最省心的选择。但从另一个角度讲直接使用封装APK也会少掉很多可调参数——线程数、context长度、量化档位这些在Termux里可以随意折腾的东西在APK里就固定了。我的建议是想快速体验用APK想玩出自己的花样就用Termux方案两条路并不冲突。4. 离线使用全攻略断网也能干活的完整闭环4.1 离线包准备和模型文件管理离线使用的前提是“一次性装入之后不再依赖网络”。我在实践里把整个流程拆成三块模型文件离线导入、推理引擎离线运行、知识库类资源离线加载。模型文件离线导入是最基础的一步。刚才提到的GGUF文件我会在电脑上下载后校验sha256再通过USB或局域网传到手机里放到一个固定目录。不要放在系统根目录建议放在Download/models下面目录结构清晰后续多模型切换也方便。更讲究一点的做法是把模型文件和推理脚本放在同一个目录写一份README.txt记录模型来源、量化档位、sha256值避免几个月后文件堆多了搞不清楚谁是谁。推理引擎的离线运行更简单llama.cpp编译出来的二进制文件是纯本地的不联网、不遥测、不需要任何云端的密钥。这一点对隐私敏感用户特别重要也是我全面转向本地模型的核心原因。你要查网络流量的话跑本地推理时整个Termux的流量统计几乎是0这在很多企业内网环境里简直是刚需。知识库类的离线加载我拿代码补全和翻译这两个场景来说。我在手机里放了常用的中英翻译词典文件、代码片段库以及一些个人写作模板。这些都是纯文本文件本地检索速度极快配合Qwen3.5生成片段完整体验就是“一个不上传任何数据、不依赖任何服务器的AI助手”。这个闭环一旦建立起来你会发现云端依赖真的可以被完全替代。4.2 离线场景实测我在无网环境下做了什么为了验证这个方案的鲁棒性我做了两次“飞行模式实测”。第一次是在高铁隧道区段全程断断续续无网络。我用Qwen3.5写了三段文案、把一段中文产品说明翻译成英文、让模型解释一个概念——全部顺畅完成。中途有过一次速度下降我看了一眼温度机身已经明显发烫但并没有中断。第二次是在机舱内打开飞行模式我用手机里的模型完成了一篇约800字的草稿润色过程中故意把上下文设到连续多轮对话试了试长对话下是否会被内存拖垮。结果是多轮对话照样能跑但上下文越长每轮生成前需要处理的历史内容越多速度确实会略微下降。这个符合Gated DeltaNet的预期——它的KV Cache是固定的但每次还是要遍历历史计算一次全局状态所以不是完全不损耗只是损耗可控。日常使用中单轮问答和短对话3到5轮基本感觉不到区别。两次实测下来我最直观的感受是离线模型的回答质量和云端顶级模型有差距但它“总能用”这一点价值太大了。断网环境下以前只能打开记事本干写字现在却能连续对话、润色、翻译、出代码这已经是质的飞跃。尤其在地铁通勤这种每天都要经历的场景里一个永远在线、永远不拒绝回答的本地助手体验远超“转圈圈”的云端App。5. 延迟低到离谱的背后实测数据与优化细节5.1 prefill、decode、TTFT拆解说到延迟很多人只看到“每秒生成多少个token”一个数字但真正影响主观体验的其实是两个阶段prefill预填充和decode解码。prefill阶段是模型把你的提示词一次性读入并计算这一阶段计算密度高、并行度高通常很快但对首token延迟TTFTTime To First Token有直接影响。比如你输入一段500字的提示词prefill阶段如果处理慢你会感觉“回车之后过了好久才开始蹦字”。decode阶段是模型逐个token生成输出的过程这才是大家口中的“生成速度”单位是token/s。手机端跑Qwen3.5的8B量化模型decode速度取决于内存带宽。实测中旗舰级的骁龙8 Gen 3大概在12到18 token/s换算过来就是每生成一个字大约60到80毫秒人眼几乎感受不到卡顿中端芯片大概只有5到8 token/s明显能感觉到逐字蹦但作为离线工具也能接受。整个链路的TTFT体验手机端大概在1到2秒之间这个数字已经接近日常点开一个网页的感觉。想测量详细的延迟数据llama.cpp自带perf统计运行参数里加--verbose-prompt或者直接读日志末尾的打印信息会给出prefill耗时、decode耗时、总token数、token/s等数据。我测试时习惯跑同样的一条prompt记录五次取平均值避免温度波动干扰。数据样本越多越容易判断到底是机器性能问题还是配置问题。5.2 不同手机的实测表现不同手机跑同一个模型体验差距可能大到让人怀疑是不是同一个App。我特意挑了手头三台不同定位的设备做了对比测试分别是旗舰机A、主力机B和中端机C。统一用8B模型的Q4_K_M量化档位单轮对话温度0.7生成长度固定200 token同时打开--mlock锁定内存。为了保证数据相对可靠每台机器我都连测三遍取平均下表是大概结果手机芯片内存首token延迟生成速度峰值内存备注旗舰机A骁龙8 Gen 316GB约1.2s15~17 token/s6.1GB全程流畅主力机B天玑930012GB约1.5s11~13 token/s5.9GB温度上升后降到9中端机C骁龙7 Gen38GB约2.0s6~8 token/s5.5GB需清后台这三组数据放到一起结论就很明显8B模型在旗舰机上是流畅可用的水平在中端机上是忍耐一下也还能用的水平。所谓“延迟低到离谱”更多是指旗舰机上的体验——配合预填充闪存、内存带宽充沛基本可以达到“点了就问开了就答”的状态。如果你手上的机器性能介于B和C之间也不用灰心选3B/4B的量化模型速度会大幅提升日常问答完全够用。5.3 五个让延迟再低一截的优化细节经过反复测试我总结出五个对延迟和稳定性都有帮助的细节按收益从高到低排序。第一选择线程数时不要盲目顶满。很多攻略说“CPU有多少核就填多少”但真实测试里线程过多会导致缓存争抢和调度开销反而更慢。我在骁龙8 Gen 3上试过4线程比8线程表现更好原因是大核小核混跑时任务调度太碎。建议从4开始逐级往上试找到自己设备的甜点值。第二开启dotprod相关的编译优化。llama.cpp在编译时如果检测到目标ARM指令集支持会自动开启。如果你是自己编译务必确认CMake的配置输出里GGML_NATIVE是ON手动交叉编译时加-DGGML_OPENMPOFF有时也能减少Android上OpenMP线程库带来的额外开销。第三用--mlock锁住内存。默认情况下模型文件会被加载到内存缓冲区但Android的内存管理随时可能把它换出。用--mlock可以强制锁定减少加载后访问的延迟波动。代价是系统可用内存减少开启后尽量不要同时开大型App。我实际跑的命令通常是这样./build/bin/llama-cli \ -m /sdcard/Download/models/qwen3.5-8b-q4_k_m.gguf \ -p 用一句话介绍你自己 \ -n 256 \ -t 4 \ -c 2048 \ --mlock \ --temp 0.7第四把系统切换到性能模式。Android这边可以在开发者选项里关闭动画、限制后台进程数量部分厂商的电池设置里还有“高性能模式”打开后CPU调度更激进生成速度能提升一点。但要注意发热长会话建议用外置散热背夹。第五控制context长度。Qwen3.5支持长上下文但手机的固定内存里KV Cache越小留给模型权重的余量越大速度越稳定。日常使用我会把-c 2048作为默认值只有在处理长文档时才临时拉到4096以上。6. 常见问题与排查实录6.1 我踩过的三个坑这一路上翻车次数不少挑三个最有代表性的讲。第一个坑是模型文件损坏。最早我从网盘下载了一个GGUF文件下载工具中途断了续传完成后没校验就直接丢进手机。加载时llama.cpp直接报错“invalid file format”排查了很久才发现是文件不完整。从那以后我给自己立了规矩任何超过1GB的模型文件下载后必须先sha256校验和官方仓库的哈希值对一遍再往手机里传。这个习惯帮我避开了后面至少三次类似的坑。第二个坑是Termux的存储权限。Android的沙箱机制很严格直接访问/sdcard/Download可能提示Permission denied。解决办法是在Termux里执行termux-setup-storage弹窗授权后会自动建立~/storage/downloads之类的软链接之后再通过这个路径访问外部存储就不会有权限问题了。这个坑几乎每个新手都会碰到早点避开能省很多时间。第三个坑是发热降频导致的速度雪崩。我有一台手机连续跑了二十分钟对话后半程生成速度从14 token/s直接掉到6 token/s当时以为是配置问题反复调参数都没用。后来把手机壳摘掉、放在金属桌面上速度又恢复了大半。从此之后我养成了长会话期间随时摸一下金属边框的习惯温度一高就主动休整。机器寿命和体验都要靠控制温度来保。6.2 问题速查表下面这些问题是这一个月里被问得最多、也是我个人真正踩过的。我把现象、原因、解决方法整理成一张速查表。注意表格里有些方法是官方文档里没有直接写的——比如温度过高导致的重复输出很多人第一反应是调采样参数其实先检查散热往往更有效。现象可能原因解决方法加载报错 invalid file formatGGUF文件损坏或不完整重新下载并sha256校验启动后立刻闪退内存不足系统杀掉进程换更小量化档位关闭后台App使用--mlockPermission deniedTermux没有存储权限执行termux-setup-storage授权生成到一半速度骤降芯片过热降频摘手机壳加散热暂停让温度回落中文回答乱码tokenizer或prompt格式问题确认使用Qwen3.5的chat模板更新llama.cpp到最新版输出内容重复循环采样参数或上下文太长适当提高temperature或调低context长度编译报错 clang版本过旧工具链太老pkg upgrade后再试必要时换F-Droid源这个表格虽然简短但包含了我实际遇到的问题和解决思路。如果你在部署中也碰上了表里没有的情况建议先看llama.cpp日志开头的系统信息再对照GitHub的issue区搜索基本能找到方向。记得在提问前先把自己的设备型号、内存、模型档位、完整报错日志贴出来——社区里的大神都很乐意帮忙但没人愿意从“请描述你的问题”开始做无奖猜谜。7. 我个人用下来的一些体会全文的技术部分到这里就差不多了最后聊几句更主观的感受。端侧AI、离线运行这件事技术门槛其实没有想象中那么高——只要你愿意折腾一个下午就能跑通。但真正改变我习惯的是“随时可用、数据不出手机”这两句话落到了实处。现在我出门在地铁上想查资料、写思路第一反应是打开本地模型而不是云端App这种“工具在手里、不依赖环境”的踏实感是任何云服务都给不了的。如果再往后想一步这个方案还有不少可以扩展的地方。比如继续调教采样参数让回答风格更适合中文创作比如把多个尺寸的模型文件放进同一目录按需切换比如把Termux里的推理脚本封装成按键快捷方式一键唤起对话界面。社区那边也有人在做更友好的APK封装等Pull Request合并之后普通用户连Termux都不用碰装上就能用。到那个时候端侧AI可能就真的不再是极客玩具而是一个人人可用的日常工具了。最后再分享一个小细节我习惯把手机插着电、放在桌上跑模型的时候顺带开一个温控脚本监控电池温度超过42度就停止当前长会话让机身休息几分钟。端侧推理拼的是长期稳定的体验不是跑一次能跑多快。保护好芯片、控制好温度这台手机的本地AI能用很久很久。