电脑主机价格大揭秘现在配置一台电脑需要多少钱当下, 人工智能产业正历经一场从训练占据主导地位朝着推理处于主导地位的具有历史性的转变, 伴着《国务院关于深入实施“人工智能”行动的意见》一步步得到落实, 人工智能已然变成塑造竞争方面全新优势的核心引擎, 以智能体作为核心应用形态的AI技术, 正促使关键生产力要素由“算力”朝着“智力”进行跃迁, 成为引领产业变革的新质生产力。同时, 国家网信办等三部门那《智能体规范应用与创新发展实施意见》持续落地, 这使得AI能力充分释放不再依靠单点算力突破, 而是去寻求多个算力节点间的高效协同。Token也就是词元, 它作为衡量与调度AI计算能力的核心单元, 正在深刻变革传统的算力计量与交易模式, 从“算力券”向Token交易转变, 基于Token计费的新型商业逻辑正在加速演进。网络不再只是简单的“信息管道”, 它变成了连接分布式Token服务的“神经中枢”, 它是决定未来人工智能业务效能的关键基础设施。智能体规模应用在不断推进, AI协同互联网的发展速度十分迅速, 在此情况下, 日均Token调用量自2024年初的1000亿, 增长达到了2026年3月的140万亿, 增长幅度超过了1000倍。这样的爆发式增长, 给互联网基础设施带来了前所未有的挑战。Token, 是驱动AI模型运转的基本能源单位, 也是衡量智能服务价值的基本能源单位, 它已从技术术语演变成全新的价值度量体系, 演变成全新的价值交换体系。在AI时代, Token成了“数字燃料”, 成了智能经济的“通用货币”, 把数据“Token化”后, 能实现开放调用, 能实现实时交易, 把服务“Token化”后, 能实现开放调用, 能实现实时交易, 把资产“Token化”后, 能实现开放调用, 能实现实时交易, 进而推动价值流动。面对这一产业变革, 互联网基础设施必须升级, 运营商迫切需要实现Token运营方面的战略转型。基于上述那种背景情况, 这篇文章针对面向Token运营的互联网基础设施是如何演进的展开了研究, 先是梳理互联网从宽带联网开始, 经过弹性云网, 再到智能算网, 最后朝着原生智网演进的技术发展脉络, 接着分析Token出现爆发式增长所带来的低成本、高质量、高安全以及生态化运营方面的需求然后提出Token Net的总体架构, 从算网资源、大模型服务、智能服务以及Token运营这四个层面去阐述关键能力, 最后把重点着重放在Token分发网络也就是Token , TDN的路由调度、缓存分发、度量计费以及安全保障这些类型的技术上, 探讨凭借“算网存”协同来支撑Token规模化生产、大范围分发以及治理的能够实现的路径, 从而为智能互联网基础设施建设提供可供参考的内容。互联网基础设施演进历程与趋势算网技术演进路线传统互联网将连通性当作核心目标, IP也就是互联网协议网络运用“尽力而为”的分组交换范式, 在视频业务场景里达成了大规模商用部署, 在网页业务场景里达成了大规模商用部署, 在社交业务场景里达成了大规模商用部署。可是, 这种设计在视频流这种对时延和抖动敏感的实时业务面前, 渐渐显露出能力欠缺, 在VoIP也就是基于IP的语音传输俗称“互联网电话”这种对时延和抖动敏感的实时业务面前, 渐渐显露出能力欠缺。对于此情况, “IPv6”体系借助引入SRv6也就是over IPv6, 是基于IPv6转发平面的段路由, 还有网络切片手段, 以及随流检测等相关技术, 从而使网络初步具备了业务感知能力, 并且获得了差异化服务能力, 进而给后续面向AI场景的网络升级奠定了技术基础。那种传统的广域网络沿用的, 体现着“尽力而为”理念的设计范式, 是难以去满足智算场景所提出的, 对于具备高吞吐、有着低时延、拥有低抖动以及呈现高可靠性这些方面所综合起来的要求的, 如此一来, 网络就迫切地需要去从“通用连接管道”朝着“算力使能网络”进行转型, 于是智能IP广域网也就是AI WAN就顺势诞生了, 它是以“IPv6”当作技术的底座, 借助融合广义的广域RDMA也就是远程直接存储器访问的无损传输, 还有流级精准控制等关键技术的, 在数百千米跨域的场景当中, 能把计算性能的损失控制在到5%以内的, 超过200km拉远训练效率从25%提升至了变为97%。当下, 算网技术的发展正一步步迈入面向Token运营的原生智网也就是AI的全新阶段。在2024年的时候, 中国联通发布了算力智联网AINet。到了2026年, 又进一步提出了Token Net技术概念以及架构体系, 把Token运营当作基础设施演进的核心驱动力, 以此推动互联网从“连接信息”朝着“连接智能”的范式进行跃迁。Token运营的核心需求面向Token进行运营运转的, 构成互联网基础支撑架构的设施, 要去达成下面这四大处于核心地位的, 有着必要性的需求。先来是低成本要求, 大模型推理步入高并发、长上下文以及多轮交互阶段之时, 单次请求将会引出大量计算与访存开支, 针对Token运营, 需要依靠预填充跟解码-, PD分开、混合请求调度、算网资源协同以及KV Cache键值缓存复用, 去削减重复计算与无效等待, 提高单卡Token产出效率, 并且凭借就近推理、热点缓存下沉以及弹性调度降低单位Token成本。有一种需求是高质量需求, Token服务质量的体现, 并非仅限于最终的回答可不可用, 它还在首Token响应时间, 也就是Time to First Token‌TTFT这方面有所呈现, 同时也作用于连续输出稳定性、吞吐能力、抖动控制以及服务等级协定, 也就是levelSLA保障等全部过程指标上。智能体业务具备实时交互、任务链长、外部工具调用频繁等特性, 一旦出现网络抖动、算力拥塞或者缓存失效的情况, 便会对用户体验以及任务完成率产生影响。因此应构建精细化调度机制实现高效可靠的Token供给。三是存在着高安全需求, Token的流转在提示词、上下文、模型推理、中间缓存、工具调用以及结果返回等诸多环节贯穿进行, 基础设施一方面要保证没有被越权访问用户的原始数据以及相关上下文, 另一方面还要对提示词注入、模型滥用, 还有缓存泄露等风险加以防范, 所以, 需要去构建全链路、纵深防御的安全体系, 以此为手段保证模型安全、数据安全以及网络安全。一是生态化需求, Token运营所面向的, 是一个有着多模型、多算力、多网络、多智能体以及多行业应用参与的复杂生态, 在这样的生态里, 单一厂商或者单一资源池, 是难以满足差异化服务等级目标即Level也就是SLO以及规模化调用需求的, 因为这样所以啊, 要做的是整合异厂商、异构资源进而构建开放合作的Token产业生态。Token Net架构体系Token Net将低成本、高安全、高质量、多生态的Token运营定为目标, 借助算网资源、大模型服务、智能服务、Token运营这四个方面, 连通算网资源、AI大模型、智能服务跟用户之间的价值闭环, 推进面向Token运营的新型互联网基础设施建设。中国联通Token Net技术体系如图1所示。图1 中国联通Token Net技术体系算网资源夯实算网底座算网资源层作为 Token Net 的基础底座, 其核心之处在于, 要打通用户侧向接入侧传输的通道, 还要打通接入侧向广域承载侧传递的通道, 更要打通广域承载侧向AI算力侧连通的通道, 以此形成端到端算网通道。以智能体以及大模型推理业务为着手指向予以面对, 运用一体融合使之连贯畅通的数据中心接入网络Data , 这记作DCA、数据中心互联网络 Data , 也就是DCI、数据中心内部网络Data , 简称为DCN所构成的智算网络架构如同图2所呈现的那样, 具体内容如下: DCA这一侧承担多种不同类型用户诸如园区用户、家庭用户、专线用户、个体用户等的接入任务, 并且与智算网关相互结合来达成业务识别、会话接入、SLO表达以及就近调度等工作DCI这一侧负责跨区域、跨数据中心的大带宽互联事宜, 借助SRv6、确定性承载、广域无损传输、流级遥测与拥塞控制等一系列能力, 从而保障长上下文推理、KV缓存迁移以及跨池协同进程当中能够具备低时延、低抖动以及高可靠性等特性DCN这一侧针对智算中心内部的GPUunit, 也就是图形处理单元集群、存储系统以及推理服务实例, 予以高吞吐、低损耗的东西向流量承载的事项, 推动PD分离、分布式推理以及多模型服务部署得以实现。凭借DCA接入感知, 借助DCI广域协同, 依靠DCN集群内高速互联的联动, 进而形成业务可感知的算网底座, 形成资源可编排的算网底座, 形成质量可保障的算网底座。图2 智算网络基础资源架构大模型服务面向Token运营的推理优化聚焦于Token运营的推理服务优化这一目标, 大模型服务层围绕Token要达成低成本又高质量的运营目的去做推动与精进, 基于一种特有的PD分离推理架构, 来促成那种具备高吞吐以及低成本且弹性表现可控等方面特性的新一代推理服务能力得以实现。这种PD分离架构呢, 是把阶段跟阶段相互分离的性质状况, 它会按照GPU硬件展现出来的特性, 进而有着差异化的资源分配举措, 以此达成算力跟访存之间能够实现最优匹配的效果呈现, 最终实现将Token产出效率最大化的目标态势。于广域层面时, 去发挥运营商于广域网络以及边缘算力资源范畴内的优势, 进而打造出“云边端”协同的分布式推理能力。依靠分割学习技术而将模型依层予以分割, 把首层与尾层放置在边侧之处, 中间层则处于云端, 达成数据不离开域。凭借联通算网、多接入边缘计算而且内容分发网络进行构建推理网络, 达成就近推理, 提高缓存调度效率, 削减推理服务时延。智能服务构建智能体互联网Token Net里那负责连接AI能力跟产业应用的桥梁是智能服务层, 成为智能体的主要生产者兼消费者的是, 智能体。当Token赋能生产的落脚形式成为现实时, 智能体应用以及人机协同这两者就出现了。人工智能借助把大模型拿来当作“大脑”, 并且这个“大脑”还与其工具、环境紧忙展开深度结合, 从而把人工智能从认知层推向行动层, 进而促使人工智能实现了跨越发展。在智能体那个互联网当中, 智能服务层不仅需担起单个智能体应用的重任, 并且还要将服务网络搞起来, 以此达成智能服务层的多元功能, 推动智能体互联网的全面发展。关键能力体现于智能体互联网的六个模块, 包括动态组网, 全场景泛在接入, 智能体注册发现, 多协议适配互通, 可信身份认证, 智能体构建与协同如图3所示。1.多智能体协作任务所面向的动态组网, 可按需构建临时协作网络, 能让不同智能体于任务执行进程里, 灵活达成连接, 实现能力组合以及资源调度。2.全场景泛在接入着重突出, 智能体服务对于多种入口, 要进行兼容接入, 使得用户, 可以在不同场景之下, 以统一方式, 去调用智能体服务。3.智能体注册发现, 其作用在于建立智能体能力目录, 以及进行服务索引, 借助语义化描述, 还有能力标签和接口信息发布这一系列行为, 由此调用方具备了按任务需求, 快速发现合适的智能体服务的能力。4.不同平台、智能体框架以及通信协议之间的互联问题, 由多协议适配互通来解决, 其借助统一的协议映射、消息适配还有语义转换, 降低跨系统协同成本。5.可信身份认证, 为智能体提供统一身份标识, 为用户提供统一身份标识, 为设备提供统一身份标识, 为服务提供认证授权, 为服务提供可信凭证, 保障跨主体调用过程中, 身份是可以被确认的, 权限是可以被控制的, 行为是可以被追溯的。6.面向复杂任务的智能体构建与协同, 支持工具调用, 支持流程编排, 支持角色分工, 支持多智能体协作, 进而让大模型能力从单轮问答攀升为可执行的业务流程。图3 智能体服务关键能力Token运营可运营的Token分发网络Token运营, 作为Token Net的运营体系, 是面向用户运营服务的关键所在。TDN依托运营商算网一体化资源优势, 以Token感知路由以及智能分发为核心要点, 实现Token分发、KV缓存与算网资源的协同调度, 进而降低Token成本、提升服务质量, 构建网络化、且服务化的Token运营体系。可运营的Token分发网络如图4所示。图4 可运营的Token分发网络当大模型推理服务从单个点的优化朝着系统级的工程化进展时, KV缓存已不再只是单纯的性能加速器, 而是演变成构造吞吐、时延以及成本三者间三角形平衡态势的核心基础设施, KV缓存分发依照传输需求能够划分成以下三类。首先, 存在一种情况, 也就是长期去进行保存, 并且存在跨数据中心的KV缓存流转。这种方式呢, 适宜于放置那些价值相对较高, 而且复用概率比较大的长上下文缓存。系统能够在网络处于空闲状态的时候, 以异步的方式去进行复制, 还能提前在目标资源池中构筑备份或者预热缓存, 进而在业务出现迁移的时候, 削减重复的计算。首先, 是关于短周期热点KV缓存复用情况, 其次呢, 当某类常见提示词, 或者行业范围之内的知识库内容, 亦或是智能体任务链被多次反复调用之时调度系统能够把相关的KV缓存去加载到CPU这里, 也就是中央处理器的内存当中, 并且在区域节点之间进行快速同步操作, 进而让边缘这个推理节点能够更加迅速地去复用已经存在的上下文内容, 接下来是致使TTFT得以降低, 这其中需要着重关注热点识别工作, 缓存本身的有效期方面以及相应的内存占用这三块内容, 务必要防止无效缓存过度使用消耗很多资源情况出现。第三, 高速复用现身于实时推理里。面向PD分离架构, 阶段生成的KV缓存且要尽可能地靠近实例, 于GPU显存内部做完快速交接, 削减因CPU回拷和跨节点搬迁招致的额外开销。涉及连续多轮会话, 热KV Cache优先留存于大带宽内存中, 于此有助于保障阶段的输出速度与稳定性。借助上述三种机制协同, TDN能够依据缓存价值、访问热度、上下文长度以及服务时延要求, 做KV缓存的合理分发, 通过做到如此这般, 进而在推理成本、响应时延和资源利用率层面取得更为出色并且更优的平衡啦。Token分发网络关键技术路由调度技术基于TDN具备的广域覆盖网络能力, 以及低时延、高可靠的特性作为基础, 来构建运营商级别的Token路由与调度方案。借助以差异化方式呈现的网络能力为Token服务赋予能量, 达成“算网模”这三者的一体化协同状态, 以此为用户给予最佳的Token接入体验。TDN能够支持依据多要素开展的Token路由工作, 全面考量用户请求特征、网络状态、算力状态等多维度方面的因素, 从而实现精准的调度。核心枢纽Token Hub, 将多家供应商的Token资源予以汇聚, 达成算力与模型多种类供给所为, 去支持多场景接入需要达成的目的。和历来传统的Token直通访问类型相比, TDN凭借全网Token聚合之举, 依据用户请求状况、网络状态情形、算力状态形式、Token消耗量情况, 为用户供应更优质的Token供应服务就如同图5所展示的那样。图5 基于高质量承载网络的Token服务调用KV缓存分发技术在大模型推理这个过程时, KV缓存属于关键的中间产物, 它是借助前缀匹配这样一种技术达成缓存的复用。要是有情况, 也就是用户请求跟历史上下文之间存在匹配, 那么就能够直接命中KV缓存然后跳过阶段这样, 如此一来, 便能够依靠大幅降低计算量这个方式效果显著地实现对TTFT的降低。而TDN则是经过广域网里面的动态路由调度, 以及算力与本地缓存两者协同配合, 就此达成网络、计算、存储这些资源的有效置换还有最佳匹配。从现阶段智算中心内部的KV缓存动态管理以及高效复用。前往跨智算中心。进行全局调度。必须构建KV缓存广域级分发调度能力。达成”网存换算“。使资源协同提效。解决大模型推理性能和成本之间的矛盾。依托KV缓存热点感知。以及生命周期管理。还有全局流转。实现跨域资源协同。度量计费技术构建起统一的Token度量与此计费机制, 给Token的生产、调度以及流通筑牢根基, 达成Token运营能够被量化、可进行比对、可予以结算。TDN能够精准地区别Token不同的类型, 为差异化计费供给依据。借由智能计费引擎, 达成Token运行轨迹的精细化管理, 支持按照数量计费、依据质量计费等多种方式, 去满足不一样业务场景的计费要求。安全保障技术建立起智能监控系统, 达成Token运营整个链路的可视化、可追溯、可优化, 还有涵盖Token“生成—传输—分发—计费—运维”整个生命周期的安全防护。TDN依照“安全可信、精细管理”这个原则, 支撑Token流转的整个链路追踪, 保证Token生产、分配、消费各个环节安全合规, 保障模型安全、数据安全、网络安全。总结与展望从 AINet 演进至 Token Net, 这起到了一种标志作用, 它表明中国联通顺应了 AI 时代的潮流趋势, 进而推动互联网基础设施步入了一个全新阶段, 此阶段是以 Token 作为核心驱动力的。Token Net 不仅仅是技术架构方面实现了升级, 而且还完成了商业模式的体系化重构, 也就是从“卖流量”转变为“卖 Token”。在未来, 中国联通会持续协同生态伙伴, 促使Token Net在技术创新层面深度融合, 在标准体系层面深度融合, 在产业应用层面进行深度融合。通过始终坚持守正创新, 全方位构建低成本的Token运营体系, 构建高质量的Token运营体系, 构建高安全的Token运营体系, 构建生态化的Token运营体系, 致力于为全球智能经济的高质量发展注入全新动力, 推动互联网切实达成从“连接信息”向“连接智能”的质变。