算力标尺变了！打破“四堵墙”，Token才能有效产出

IT时报记者 孙妍 

GPU峰值算力逐年走高，实际产出的Token（词元）为何还是不够用？ 

10月22日，在2026中国计算机大会（CNCC 2026）上，如何评估Token实际产出这个问题被重新定义。

 当AI Agent（智能体）从一次问答走向持续执行任务时，当AI4S（科学智能）的复杂计算不断触及算力天花板时，衡量算力的标尺也随之换轨，Token有效产出成了新度量衡。在“AI高通量推理基础设施”分论坛上，随着计算、通信、存储与调度被逐层拆开，Token如何高效产生的答案浮出水面。

缺口：Token供需缺口将长期存在

物理世界的供给增速难以匹配数字世界的需求增速，供需缺口将长期存在。全球Token消耗量将从2026年的0.026Peta增至2030年的152667Peta，AI算力供需缺口将从2024年的389亿美元扩大到2030年的3809亿美元。 

算力缺口的产生，正是因为AI已从“生成”阶段迈入“执行”阶段。Token是成本核心，Agent是价值核心。IDC调研显示，2026年平均每家企业计划部署19.65个Agent。Agent的长链路执行，正把算力需求从单次推理转化为持续运转的供给体系。而Agent规模化运行，将算力推向国家关键基础设施的战略高度。 

瓶颈：峰值算力面前的“四堵墙”

斯坦福《2026年人工智能指数报告》显示，全球Token日消耗量已达650万亿，其中中国约140万亿。主流模型参数规模三年增长逾40倍，中国已进入万亿参数梯队，10万亿参数模型或在2028年部署。

 需求陡峭向上，但Token供给效率面临严峻挑战，因为供给侧却横着“四堵墙”。海光信息智算量化设计专家孙建鹏把“峰值算力为何变不成有效Token”当成一道工程题来拆解。 

“算力空转、通信等待、访存搬运、调度排队，四类瓶颈叠加，任何一处短板都会拖慢Token产出。”孙建鹏将其概括为“算、传、存、调”四堵墙：算力墙上，利用率不足，峰值不等于有效算力；通信墙上，同步等待期间算力只能空转；存储墙上，键值缓存随上下文增长，容量不足便触发换出或重算；调度墙上，排队与空泡让算力碎片化。 

破墙要靠系统协同。海光信息围绕四大维度构建覆盖应用、框架、算子、运行时、系统与芯片的六层优化体系，以计算通信重叠、分层缓存管理、动态批处理与全局调度等方式减少无效搬运与等待。最终，以有效Token产出衡量算力价值，以系统协同突破性能边界，以量化分析驱动架构演进。 

协同：网络少等待，存储少重算

四堵墙里，通信与存储这两堵墙，到底要如何拆除？ 

中科曙光高端计算副总工程师赵欢算了一笔通信“等待”的细账。混合专家模型训练中，通信时间占比可达40%至60%，通信网速每慢一拍，加速卡就多空转一拍。赵欢把智算集群比作生产线，作业系统是调度室，GPU是机床，高速网络是传送带，传送带一堵，整条生产线就停摆。“网络的每一微秒延迟，最终都由最贵的机床GPU来买单。” 

MFU（模型算力利用率）并非单纯的算力指标，而是算力、网络与调度的联合产能指标。万卡集群的MFU每提升1%，相当于每天多产出约240卡时的有效算力，等同于“白捡”数百张卡的产能。

然而，管好这张网并不容易。今年7月，中国首个全国产十万卡AI超集群曙光8000在郑州落成。这个十万卡集群的高速网络基座，拥有接入网卡超5万张、交换机超3000台，日均处理作业30万个以上。通过高速网络运维管理平台FabricView，该集群把原本需要3至10天的人工配置检查压缩到10分钟，故障平均恢复时间从小时级降至分钟级。在赵欢看来，网络管理的目标，是把网络从成本中心变成产能引擎，以回报更多的Token产出。 

大众都感受到了存储芯片涨价，也清楚是智算中心抢走了大部分的存储芯片，但很少有人深究，存储芯片为何如此被AI渴求？2026年推理计算量占比已达三分之二，成为AI算力的主要任务。但是大量是重复劳动，会话Token总量超过4K（大约5轮）后，每轮重复计算占比超过90%；某公有云商用Agent集群中，94%的Token无须重新预填充。 

中科曙光分布式存储产品部总经理石静谈到，“以存换算”已经成为共识，代价是内存墙，新增额外开销，以及引擎间缓存存在相互隔离的问题。 

石静提出了缓存全局池化，将本地显存、内存、SSD与分布式存储组织为多级缓存池，统一管理与调度，让键值缓存脱离单机范畴。在国内某头部互联网企业的在线推理业务中，该方案使平均首字时延降低77%，同等硬件条件下吞吐量提升3倍。“让每一次预填充都不白算”，石静将存储的角色转变概括为“从存数据到存智能”。 

跃迁：一座座Token工厂组成全国一张网

单点性能优化之外，还有更大尺度的协同。中科曙光高端算力系统首席架构师刘冠川提出，高通量推理的竞争正从单点性能走向系统效能：推理负载呈现长上下文、高并发、复杂任务链的特征，约束也从单一算力变为计算、存储、通信与调度并重。 

那么，到底如何让全栈耦合？刘冠川提出，计算侧以超节点提升多卡协同效率，40张加速卡一层组网；数据侧让数据从存储径直进入GPU显存，读取性能较传统路径提升2.4倍；调度侧以PD分离解耦预填充与解码。 

走出单座Token工厂，超算互联网解决方案部负责人陶丹则把视角放大到全国算力一张网。“更大的工厂”并不等于“完整的AI4S能力”，因为AI4S任务天然是分布式的，数据分散、计算异构、任务多轮迭代。可行方向是Token工厂网络，就是将全国超算与智算资源全域并网、统一调度。“就像电力系统从单台发电机走向全国电网一样，算力产业也在从单点智算中心走向全域协同的智能产能管网。”陶丹介绍道，超算互联网已接入6000P以上双精度算力，活跃用户超170万，全网削峰填谷，算力利用率可提升约40%，单Token成本可下降约60%。 

“算力如何变成高效Token”的答案逐渐清晰。答案不在某一块芯片里，而在计算、通信、存储与调度环环相扣的配合里。正所谓，芯片决定上限，系统决定产出。 

在CNCC 2026的展区里，一座“光合森林”呈现了光合组织的生态图景，覆盖芯片、整机、网络、存储与基础软件，独木不成林，单项产品再强，也要在开放架构下完成适配，才能组合成可部署、可运行的人工智能基础设施。 

电气时代的历史早已给出参照，决定电气化程度的，从来不只是发电机的功率，还有电网的调度与协作。Token经济正站在相似的节点上，算力的价值，最终要用稳定输出的Token来衡量。