尧图网站设计 尧图网站设计YAOTU DESIGN
ARTICLE DETAIL

资讯详情

深耕网站设计与一线实操的经验洞察。

从芯片到模型再到硬件:端侧AI设备如何走向组合创新

从芯片到模型再到硬件:端侧AI设备如何走向组合创新 看到“小米玄戒 O100 原型机、AI Cube 真机首秀”这个消息时我第一反应不是去查跑分而是想先弄清楚一个问题这到底是一颗新芯片一个新硬件还是一条新链路过去几年我们看 AI 硬件已经形成了一套固定动作先看芯片算力再看模型参数量最后问一句“能不能跑大模型”。这套三连问当然有用但放到这次的主角身上可能会带偏重点。单拎出玄戒 O100它是一颗自研 SoC单看 Xiaomi MiMo它是一个端侧模型单看 AI Cube它是一台长得像音箱或者桌搭设备的硬件。可如果它们只是三个独立的“单点”那新闻价值会小很多。我的核心判断是这次的意义恰恰在于组合——自研芯片、端侧模型、专用硬件形态被放到了一起说明 AI 硬件正在从“通用设备运行 AI 应用”走向“为 AI 设计原生设备”。这个转变比任何跑分数字都值得花时间去理解。1. 这次真正的主角不是芯片而是“组合”1.1 单看每一环都不算新鲜先说句公道话自研芯片不是新鲜事端侧模型也已经被喊了好几年桌面音箱类的智能硬件更是早就走进了客厅。但过往这三件事通常是分开发展的。自研芯片大多为手机服务承担的任务是拍照、游戏、语音助手这些具体功能。端侧模型又被困在另一个问题里模型虽然能跑在本地但往往缺少一个“长期在线、随时可用、功耗可控”的载体。手机是最常见的载体可手机本身要兼顾通信、娱乐、社交和工作AI 能力只是众多功能之一很难成为产品的绝对重心。AI Cube 这类设备则更像一块空白画布。它的存在不是为了顺便跑一下 AI而是让 AI 成为这个硬件的主要交互方式。芯片为模型提供算力模型为硬件提供智能硬件为模型提供稳定的运行环境。三者拼在一起才组成了一个完整的产品逻辑。所以当“玄戒 O100 Xiaomi MiMo AI Cube”同时出现时真正的看点不是某一颗芯片或某一个模型而是这种“组合”是否成立。1.2 为什么“组合”会改变使用方式这里的“组合”落到用户体验上会产生一个很直接的变化人不再需要打开某个 App再找到某个入口然后等云端返回结果。设备本身就是一个 AI 入口它可以随时接收指令、处理信息、返回结果而且数据不需要全部上传到云端。打个比方通用终端像瑞士军刀什么都能干一点但每件事都要临时找工具。专用设备更像一把厨刀功能单一但切菜这件事它做得更顺手、更专注。AI Cube 就是那把“厨刀”——它不是来替代手机的而是在特定场景里把“调用 AI”这件事做得更自然。这种变化对普通用户的影响可能还不够直观但对开发者来说它意味着一个新的应用场景不需要再把所有重活累活都丢给云端而是可以设计一种“端侧为主、云端为辅”的应用架构。当然目前公开信息还没有给出 AI Cube 的完整产品定义和具体配置。按行业惯例推测这类设备通常会围绕语音交互、家庭场景或者桌面办公场景来设计但具体麦克风数量、扬声器规格、屏幕形态还要等官方发布。我的意思是别急着去评价这些硬件细节先看它想把 AI 带到哪类场景里。2. 拆开“玄戒 O100 Xiaomi MiMo AI Cube”的完整链路2.1 玄戒 O100算力底座但不是跑分玩具在整条链路里玄戒 O100 承担的是“让模型跑得动、跑得稳”的底座角色。一颗端侧芯片要跑大型语言模型重点其实不是峰值算力而是三件看上去没那么性感的事内存带宽模型参数要从内存读取到计算单元带宽不足算力再强也会被卡住。能效比端侧设备没有数据中心那样的散热条件芯片不能因为连续推理就发热降频。模型适配同一颗芯片搭配不同的算子库、编译器和推理框架实际表现可能差出一大截。所以判断玄戒 O100 是否合格不能只看它跑不跑得动 MiMo还要看它在持续对话、多轮交互、待机唤醒这类真实使用场景里能不能保持稳定输出。跑分只是在实验室里证明一次“点着”了日常使用才是长期“烧水”的过程。另外从命名角度看玄戒 O100 和开发者社区里偶尔提到的“玄戒 o3”更像是不同阶段的代号。数字本身不是关键真正值得关心的是这些代号背后有没有一套统一的芯片平台和配套工具链。如果没有芯片做得再好只能算实验室作品如果有它才算迈进了可以商业化的门槛。2.2 Xiaomi MiMo模型要“住进”设备而不是“跑一下”端侧模型和云端模型有一个本质区别云端模型是“被调用”的端侧模型是“常驻”的。用户说一句话云端模型可能已经在数据中心里等着了服务器时刻在线任务来了就处理。端侧模型则不同它必须生活在设备里要考虑内存占用、电池消耗、启动速度、上下文保持等一连串问题。用大白话说云端模型像住在酒店随叫随到端侧模型像住在家里得自己管理日常起居。MiMo 作为端侧模型要想在 AI Cube 这类设备上真正可用至少得解决几个问题模型尺寸够不够小设备内存有限模型不能无限膨胀必然要经过量化、剪枝、蒸馏等压缩手段。首字延迟够不够低用户说完一句话设备不能让人等太久否则体验会迅速恶化。上下文窗口够不够长多轮对话中模型能不能记住前面说过什么这决定了它是不是一个“有来有回”的助手。更新机制够不够顺畅端侧模型不可能一次退休后续升级能力决定了设备会不会很快过时。这些细节恰恰是消费者最容易忽略、但开发者最容易头疼的部分。模型能不能在设备上“过日子”比它能答对多少道题更重要。2.3 AI Cube给模型设计一个“家”再往下看就是 AI Cube 这个硬件形态存在的意义。手机能跑端侧模型为什么还要单独做一台设备因为专用的产品形态能让端侧模型的优势发挥得更彻底。硬件可以围绕“语音对话”来设计把麦克风阵列、扬声器、散热、供电都按长时间工作来规划。软件也可以围绕“随时唤醒”来设计不需要跟手机里几十个 App 抢资源。你可以把 AI Cube 理解成给 Xiaomi MiMo 盖了一间专属的房子。房子里的装修、水电、动线都是按模型的居住习惯来的而不是像手机那样让模型和其他应用合租。这也是端侧 AI 从“可用”走向“好用”的关键一步。端侧模型在没有专属硬件时往往是手机后台的一个低声下气的功能有了专属硬件它才可能成为产品的主人。当然具体到 AI Cube 到底支持哪些交互方式、扩展哪些传感器、能不能连接智能家居这些信息目前还不够完整。在没有官方参数之前我的态度是先把整条链路看懂再去等待实机测试和真实用户反馈。3. 从“手机跑模型”到“为模型造一台机器”真正变的是什么3.1 手机做端侧 AI 的局限现在很多手机都在宣传端侧大模型但手机这个形态对 AI 其实不算友好。第一个限制是功耗和发热。大模型推理这种高负载任务如果长时间运行手机很快会发热然后降频最后体验断崖式下跌。机内空间只有那么一点散热方案做得再好也敌不过物理边界的约束。第二个限制是资源碎片化。手机的核心任务是通信和日常应用AI 助手只能见缝插针地调用 CPU、GPU、NPU。用户正在打游戏、看视频时AI 很难抢占资源去保证自己的响应速度。第三个限制是交互边界。手机上的 AI 助手通常藏在语音唤醒词后面或者某个 App 的输入框里。这种交互模式决定了它只能被“临时想起”很难成为用户一直依赖的存在。说白了手机里的端侧 AI更像是一个“功能”而不是一个“产品”。它可以成为卖点但很难成为生活中的固定角色。3.2 AI Cube 补上了什么AI Cube 这类设备补的正是手机那些先天短板。它放在桌面或客厅里有持续供电能维持比手机更稳定的推理状态。它的交互可以不依赖“解锁手机—找到 App—打开窗口”这条路径而是像说话一样自然。它还能针对特定场景深度定制——如果它是一台桌面设备可能更关注办公效率如果它定位客厅设备可能更关注家庭陪伴和娱乐。更关键的是它让“端侧模型持续在线”这件事变得合理。模型不是每次被唤醒时才开始加载而是始终待在设备里随时准备响应。用户不用等待启动动画也不用担心网络波动这种体验是手机很难提供的。我并不是说 AI Cube 会取代手机。它更可能是一个补充设备承担那些手机干得“不够顺手”的场景。但 AI 第一次拥有一个完全属于自己的专用终端这个信号本身就值得注意。3.3 真正的难点软件工具链硬件形态的变化是外人最容易看到的部分软件工具链的建设才是决定产品最终能走多远的部分。一颗自研芯片要跑好一个端侧模型光有芯片和模型还不够。中间还需要一层完整的软件栈包括模型压缩工具、推理引擎、系统调度、驱动优化和应用 SDK。开发者要能方便地把 AI 能力接入自己的应用用户要能平滑地完成模型更新甚至还要有一套机制来处理设备端模型和云端模型的分工。从工程经验看这类系统最怕的不是算法不够强而是“链路太长、断点太多”。芯片团队觉得模型团队没调好模型团队觉得硬件环境不匹配硬件团队觉得应用层没利用好能力。最后消费者拿到的产品可能每个环节都不错但整体体验很一般。所以我会更关注玄戒 O100 和 Xiaomi MiMo 能否形成一套可复用的软件开发包。开发者社区里提到的“MiMo CC Switch”这类玩法我理解也是在探索端侧模型如何跟应用层做桥接。这种桥接能力越成熟AI Cube 越有可能从一个单机设备变成一个新应用的平台。4. 评估一台端侧 AI 设备给你一套五个维度的检查清单4.1 五维度框架如果你和我一样拿到一台端侧 AI 设备时会手痒想评估一下这里有一套我自己常用的检查清单也可以直接用来评估 AI Cube 这类产品。评估维度核心问题具体观察点算力与能效芯片能不能在合理功耗下持续跑模型连续对话时是否发热降频满载功耗和温控表现模型能力端侧模型在压缩后还剩多少实力量化后的回答质量、多轮对话记忆、上下文长度交互与场景硬件形态是否适合目标场景麦克风拾音范围、扬声器效果、有没有屏幕和传感器软件生态第三方能不能基于它做开发是否提供 SDK、开发文档、示例项目和 API 接口隐私与数据数据到底留在哪里哪些功能完全本地处理哪些数据仍会上云这五个维度不是并列关系。前两个决定设备“脑子好不好用”第三个决定“人愿不愿意用它”第四个决定“设备能不能持续进化”第五个决定“你敢不敢长期信任它”。4.2 最容易误判的三个地方第一误把“能跑模型”当成“跑得好”。端侧设备能在本地跑大模型并不代表它能流畅地陪你聊十分钟。演示环节通常只需要几秒钟的响应真实场景要的是几小时内的稳定表现。 如果你要评估最好连续测试多轮对话而不是被第一句漂亮回答误导。第二只关注硬件参数忽略开发工具链。一台设备就算内置了很强的 NPU如果 SDK 难用、文档残缺、调试工具匮乏它也不可能吸引开发者。反过来工具链成熟的产品哪怕算力不是最强也可能在应用生态上跑得更远。第三把演示场景当成真实日常场景。厂商展示的通常是精心设计的场景灯光合适、网络稳定、说话标准。可真实生活里你可能在厨房炒菜时喊它在嘈杂的客厅里靠近它或者在断网时依赖它。这些边缘场景才是端侧 AI 真正的试金石。5. 端侧模型的边界什么能做什么别指望5.1 适合的场景端侧模型最明显的优势有三个低延迟、隐私保护、离线可用。低延迟数据不需要往返云端响应速度理论上更快。隐私保护语音、文字、图片可以留在本地处理减少敏感信息外传。离线可用没有网络时基础功能依然能工作。落到 AI Cube 这类设备上比较自然的使用场景包括家庭语音助手、会议录音转写、个人知识库检索、实时翻译、简单的日程管理。这些任务不需要模型掌握海量知识但对响应速度和隐私边界有比较高的要求。如果产品定位是桌面办公助手那它的核心价值可能是“随叫随到的本地 AI 秘书”如果定位是客厅设备那它更可能成为家庭里的语音控制中枢。无论哪种定位其实都是在利用端侧模型的“贴身”属性。5.2 不适合的场景但端侧模型也有非常明显的短板。首先模型容量有限很难塞下所有知识。它可能了解常见的生活常识但在处理专业法律问题、前沿科学问题、需要深度推理的复杂任务时能力会明显弱于云端大模型。其次模型更新速度受制于推送机制。云端模型一更新所有用户立刻用上新版端侧模型要等厂商打包、推送、安装周期明显更长。如果设备已经发布模型能力基本就冻结在出厂时点的水平。最后端侧模型的个性化能力也有限。每个用户的兴趣、习惯、使用风格都不同端侧设备很难像云端那样为每个用户动态调整模型参数。它更像一个“懂你但不够博学”的室友而不是一个“什么都懂的在线专家”。所以如果指望 AI Cube 完全替代云端大模型恐怕会失望。它更适合做的是把那些高频、轻量、注重隐私的任务留在本地把复杂任务交给云端。这种“端云协同”的架构才更符合当前技术条件下的现实。5.3 现实中的混合架构我推测AI Cube 这类产品从设计之初就需要考虑混合架构能本地处理的尽量本地处理本地搞不定的再悄悄交给云端。这不是能力上的妥协反而是对用户体验负责的做法。比如用户问“把今晚的会议记录整理成摘要”这个任务可以在本地完成因为语料已经在本地了。但如果用户问“给我讲讲最近发布的科技产品”这种需要最新信息的任务可能就需要云端补充。关键在于设备要能判断什么时候走本地、什么时候走云端而且要尽量让用户感知不到这个过程。只有把端云切换做顺滑了端侧 AI 设备才真正算得上成熟。6. 我的判断还处于“功能机”阶段但方向已经明确6.1 为什么说是“功能机”阶段把玄戒 O100、AI Cube 和 Xiaomi MiMo 放在更长的时间轴里看它给我的感觉更像功能机时代的某种探索。功能机时代设备能做打电话、发短信、玩贪吃蛇这些事。每一项功能都是明确的、独立的设备之间没有完整的生态也没有一种“计算平台”的概念。今天的端侧 AI 设备也有点像这样它能做语音助手、能本地推理、能离线回答但这些能力还比较分散缺少一个让用户非买不可的理由。AI Cube 的硬件形态很可能不是最终形态。未来的端侧 AI 设备可能会更小、更隐形或者以更意想不到的方式嵌入生活。真正重要的不是这款设备卖了多少台而是它验证了“自研芯片 端侧模型 专用硬件”这条路是走得通的。一旦这条路被验证后续的迭代速度就会很快。芯片可以升级模型可以压缩得更小硬件可以重新设计工具链可以不断完善。这些变化会在几年内发生而不是几十年。6.2 下一步最值得关注什么如果让我来划重点我会盯住下面四件事第一SDK 和开发者工具能否开放。如果第三方开发者可以方便地调用设备上的端侧模型能力AI Cube 的想象空间会从“一个产品”变成“一个平台”。第二模型能否持续升级和定制。一台设备如果能在购买后不断获得新的模型能力它的生命周期会大大延长如果不能就只是一次性硬件。第三设备能否与手机、家居、办公设备形成联动。AI 的价值在单点设备里有限一旦它能调度周边设备就会变得很不一样。第四价格和功耗控制。端侧 AI 设备如果功耗过高、价格过贵就只会停留在极客和开发者圈子里无法进入大众市场。6.3 一个务实的建议对开发者来说没必要等 AI Cube 正式开售才开始研究。可以先把手头的端侧推理引擎、模型量化工具跑熟。设备会更新换代但打通“模型—芯片—设备”这条路的方法论会在不同平台间迁移也值得长期积累。对产品经理来说可以把 AI Cube 当作一个“边缘计算节点”来看待思考它能接入哪些真实业务而不是只把它当成一个新音箱。判断标准也很简单它能不能在某个具体场景里比手机上的 App 更方便、更可靠、更让人愿意用。对普通用户来说可以先观望。第一批端侧 AI 设备往往会经历系统升级、应用补全、价格回落的阶段。除非你非常喜欢尝鲜和折腾否则等应用生态成型之后再入手会是更舒服的体验。回到最开始的问题。玄戒 O100 原型机和 AI Cube 真机首秀单看参数可能不会让所有人兴奋。但它出现在这里本身就是一个信号AI 硬件正在从“手机里的一个功能”走向“一个专门为你提供 AI 服务的设备”。这条路还有不少坑方向却已经越来越清楚。
返回列表