☰
算法越省算力越缺:2025智能算力转向利用率竞争
2026/11/3 13:42:59 网站建设 项目流程

简介:《2025年中国人工智能计算力发展评估报告》是一份45页的PDF行业研究报告,面向关注AI算力规划、数据中心建设与产业趋势的技术管理者、研究人员及高校相关专业学生,可用于理解生成式人工智能浪潮下算力需求变化和基础设施选型方向。压缩包内仅含1个PDF文件,约4.69MB,内容覆盖全球及中国人工智能发展概述、芯片与服务器、存储与网络、可持续数据中心、边缘计算、算法模型、算力服务、行业与地域评估以及IDC建议等章节。报告围绕DeepSeek R1、规模法则、智能算力规模预测、液冷服务器市场、开源模型和行业渗透度展开分析,并给出“扩容”与“提效”并行的策略参考。已有180人学习,适合作为汇报材料、课程案例、方案论证和趋势研判时的数据与框架来源,也能帮助读者快速建立对AI算力产业链和评估指标的整体认识。

1. 这份评估报告先给了一个反直觉结论:算法越省,算力越缺

2025年人工智能计算力发展评估报告给出的第一个反直觉信号,不是智能算力又翻了多少倍,而是算法越省,算力需求反而越难降温。报告把2025年智能算力规模推到1,037.3 EFLOPS,并预计2028年达到2,781.9 EFLOPS;与此同时,它用“扩容+提效”解释了一个常被误读的现象:模型效率提升没有让算力账本变轻,而是把更多场景拉进了推理队列。对从业者来说,这不是一份只看规模曲线的年报,而是一份看算力效能如何被重新分配的底稿。真正值得关注的,是报告把算法创新、服务器支出、算力服务、能耗约束放进同一张账本里算了一遍。

2. 事实层:三组数字把2025算力盘子讲清楚

这份报告最先需要摆清的不是观点,而是口径。智能算力规模、通用算力规模、服务器市场、算力服务市场、数据中心能耗,这几个数字经常被混在一起讲,听起来都像“增长”,实际对应的采购主体、交付周期和预算科目完全不同。报告给出的2025年智能算力规模是1,037.3 EFLOPS,2028年2,781.9 EFLOPS,2023—2028年五年年复合增长率46.2%;通用算力2025年85.8 EFLOPS,2028年140.1 EFLOPS,年复合增长率18.8%。上一版预期分别是33.9%和16.6%,这次上修不是小数点修饰,而是把推理侧的需求提前计入了。

2.1 规模曲线:1037.3 EFLOPS不是孤立数字

单看1,037.3 EFLOPS,很容易把它当成一个“总量”就过去了。但报告里更值得看的是两条曲线的关系:智能算力增速远高于通用算力,说明新增预算正在向加速计算倾斜;可通用算力并没有停,85.8 EFLOPS到140.1 EFLOPS的增量仍然存在。从行业角度看,这意味着企业不是在用智能算力替代通用算力,而是在重建一套“CPU+加速卡+高速网络+高吞吐存储”的混合底座。智能算力负责训练和推理的主力负载,通用算力负责调度、预处理、数据库、业务逻辑和周边系统,任何一头短了,整条链路都会出现等待。

EFLOPS这个单位也容易被误读。报告对智能算力采用半精度FP16相当运算能力测算,对通用算力采用双精度FP64运算能力测算,两个口径不能直接相加,也不能拿来做简单的“占比”比较。> 注意:EFLOPS是算力口径,不是可用算力。企业真正能调度到的算力,还要打上集群利用率、网络效率、故障恢复、任务排队等折扣。报告里提到千卡、万卡甚至十万卡集群的建设方向,集群规模越大,节点故障概率越高,监控体系和故障恢复机制就越像“黑匣子”,平时看不见,一出问题就吃掉整段训练窗口。

从采购角度看,规模曲线带来的第一个影响是预算前置。算力基础设施不是下单即到货,机柜、供电、制冷、网络、存储都要同步规划。报告把2025年作为智能算力规模破千EFLOPS的节点,实际意味着很多企业的硬件升级决策已经在2024年甚至更早启动。未来18个月硬件升级排在生成式人工智能支出首位,占比29%,这不是偶然,而是规模曲线传导到预算表上的结果。对技术负责人来说,看到1,037.3这个数字,不能只问“够不够”,要问“这批算力放在哪、给谁用、按什么粒度调度、故障时怎么切走”。

第二层影响在区域和园区。报告提到智算中心呈现规模化趋势,单期规划可达千P级,部分主体追求万卡及以上部署。规模上来之后,电力、制冷、网络互联和运维团队会成为新的约束条件。很多项目踩坑不是卡在GPU数量,而是卡在配电容量、机柜功率密度和冷却方案不匹配。规模曲线越陡,基础设施短板暴露得越快。

第三层影响在算力利用率。报告没有回避一个现实:部分智算中心在实际运营中出现算力利用率未达预期的情况。规模建起来是一件事,把任务填进去是另一件事。训练任务有潮汐,推理任务有波峰波谷,若没有统一的调度和计费体系,很容易出现“账面算力很大、实际排队很长”的反差。规模数字是结果,利用率才是经营质量。

2.2 服务器与服务市场:两条增长曲线并不同步

报告给出的服务器市场曲线是:2024年1,251亿美元,2025年1,587亿美元,2028年2,227亿美元;生成式人工智能服务器占比从2025年的29.6%提升到2028年的37.7%。这组数字说明,生成式负载正在从“新增 workload”变成“主流 workload”的一部分,但非生成式服务器并没有消失,仍占大头。企业采购不会一夜之间全部转向加速服务器,存量业务、数据库、虚拟化、边缘节点还要继续跑。对硬件厂商和集成商来说,真正的机会不是只卖高配加速卡,而是把 CPU 节点、加速节点、存储节点、交换网络做成可组合的方案,否则客户会在“买多了浪费、买少了不够”之间反复摇摆。

另一条曲线是算力服务市场:2024年50亿美元,2025年79.5亿美元,2023—2028年五年年复合增长率57.3%。这条曲线比服务器市场更陡,说明企业获取算力的方式在变化。过去买服务器是买资产,现在越来越多企业开始买“就绪能力”:机房、供电、制冷、网络、调度平台、模型运行环境一起交付,缩短部署时间,降低前期资本开支。报告把算力供给模式拆成生成式IaaS、算力租赁、算力共享、智算中心等形态,背后的共同点是:算力正在从“设备”变成“服务”,从“一次性采购”变成“按需调用”。

两条曲线不同步,会带来一个容易被忽略的错配:服务器销售看的是出货量,算力服务看的是上架率和调用率。设备卖出去了,如果上架慢、调度差、应用接不上,服务收入就起不来;反过来,服务需求增长快,如果供给侧没有足够的异构资源池和运维能力,客户体验就会翻车。从行业角度看,未来两年真正拉开差距的,不是谁能拿到更多卡,而是谁能把卡、机房、网络、平台、模型工具链打包成稳定交付。报告建议企业采取“扩容”与“提效”并行策略,落到这条曲线上就是:扩容解决供给有无,提效解决供给贵不贵、好不好用。

对从业者来说,这组数字还有一个现实含义:算力预算的审批逻辑在变。以前买服务器可以按项目立项,现在买算力服务更接近运营支出,需要说清楚单位任务成本、峰值保障、SLA 和数据安全边界。技术方案如果只写“我们支持多少卡、多少P”,很难通过评审;能写清楚“每万次推理调用成本下降多少、训练任务排队时间缩短多少、故障切换时间控制在多少”,才更容易拿到预算。

2.3 能耗与液冷:77.7 TWh把绿色化从口号变成预算项

报告给出的能耗曲线很直接:2025年人工智能数据中心IT能耗77.7 TWh,2027年146.2 TWh,2022—2027年五年年复合增长率44.8%,五年间实现六倍增长。这个数字把“绿色化”从愿景拉到了预算表上。单机柜功率密度上升之后,传统风冷的能力边界越来越紧,报告把液冷技术列为关键突破方向,并预测2028年液冷服务器市场达到105亿美元,2023—2028年五年年复合增长率48.3%。从行业角度看,液冷不再只是大型数据中心的“先进选项”,而是高密度算力园区的“入场券”。

这里最容易被误读的是PUE。很多方案把PUE压到1.3甚至1.15以下当作终点,但PUE只反映数据中心总能耗与IT能耗的比例,不直接反映IT设备内部的算力效率。如果芯片、服务器、网络、存储本身的能效没有提升,PUE再低也只是把浪费转移了位置。报告同时提到计算节点层面、机柜层面、数据中心层面的全栈液冷方案,这个分层很重要:计算节点看冷板设计和漏液监测,机柜看分液器和管路布局,数据中心看冷源、余热回收和运维流程。任何一层没做好,液冷都会变成高成本试点。

能耗约束还会改变选址和建设节奏。高密度机柜对供电、承重、冷却水、运维团队提出更高要求,老旧机房改造往往比新建更难。从以往规律看,算力项目最容易在“电力到位、制冷不到位”和“制冷到位、运维不到位”两个环节翻车。报告把液冷市场增速给到48.3%,背后不是单纯的技术热度,而是高密度机柜数量增长带来的刚性需求。对管理层来说,能耗指标已经不是设施部门的内部KPI,而是算力投资回报模型里的硬约束;对技术团队来说,液冷方案要早介入机柜规划,不能等服务器上架了再补管路。

3. 影响层:谁在为“扩容+提效”买单

算力规模增长不是抽象趋势,最终都会落到三类主体的账本上:用算力的企业、供算力的服务商、做应用和模型的团队。报告里的调研数据把这三类主体的动作拆得比较清楚。企业侧,42%的样本已经开始大模型初步测试和重点概念验证,41%制定了培训与软件支出计划,17%已经把相关应用引入生产阶段。未来18个月内,生成式人工智能项目的主要支出方向是硬件升级29%、数据采集与处理24%、外部咨询或服务19%、员工培训18%、软件采购10%。这组数字说明,当前阶段的钱主要花在“把底座搭起来”,而不是“买一个成熟应用就完事”。

3.1 企业侧:42%测试、17%生产,硬件升级排在支出首位

42%处于测试和概念验证,17%进入生产,这两个数字放在一起看,能看出一个明显的漏斗。大量企业还在验证阶段,真正走到生产环境的比例并不高。生产环境意味着什么?意味着稳定性、权限、审计、成本核算、故障恢复都要过关,不再只是跑一个Demo。报告把硬件升级排在支出首位,说明很多企业判断当前瓶颈首先在算力供给和基础设施,而不是算法本身。这个判断在短期内是合理的:模型可以调用外部服务,但数据、网络、存储、安全边界和业务系统集成绕不开本地底座。

但硬件升级排第一,不代表硬件是唯一解。数据采集与处理占24%,说明企业已经意识到“有卡没数据”跑不出效果。外部咨询或服务占19%,反映很多团队缺少从场景选择到工程落地的完整经验。员工培训占18%,软件采购只占10%,这个结构很有意思:企业更愿意先投人和数据,再投软件。从行业角度看,这意味着生成式人工智能的落地仍带有较强的项目制特征,标准化软件产品的渗透还需要时间。对软件厂商来说,机会不在于讲一个通用平台故事,而在于能不能嵌入企业已有的数据流和业务流程,把交付周期压下来。

对技术负责人来说,这组支出结构有一个直接提醒:不要把预算全部押在加速卡上。卡到了,机房电力不够、存储吞吐跟不上、数据质量不过关,项目照样卡住。更稳妥的做法是把预算拆成“算力底座+数据治理+场景验证+人员能力”四块,每块设一个可验收的里程碑。比如先做一个小规模推理集群,把峰值QPS、平均延迟、缓存命中率、单位token成本跑清楚,再决定是否扩到训练集群。这样做看起来慢,实际能减少后期返工。

企业侧的另一个变化是投资回报模型被反复提及。报告建议企业建立投入产出比模型,把投资回报与具体应用案例和业务成果挂钩。这句话听起来像管理建议,落到工程上其实是要求团队能算账:一个推理服务每天调用多少次、每次输入输出多少token、缓存命中率多少、GPU利用率多少、电费和折旧摊到每次调用是多少。算不清这些,扩容就容易变成“拍脑袋加卡”,提效也容易变成“口号式优化”。

3.2 供给侧:算力服务从卖卡转向卖全栈服务

报告把算力服务市场从2024年50亿美元推到2025年79.5亿美元,五年年复合增长率57.3%。这条曲线背后是供给模式的变化。传统云服务擅长通用计算和弹性虚拟机,但生成式负载对加速卡型号、互联带宽、存储吞吐、模型运行环境、任务调度有更细的要求。企业如果自己从零搭,采购周期长、技术栈复杂、运维压力大;如果完全依赖通用云,又可能遇到成本不可控、数据出域、峰值保障不足的问题。于是,生成式IaaS、算力租赁、算力共享、智算中心等模式被推到台前。

从行业角度看,供给侧真正的竞争点不在“有多少卡”,而在“交付确定性”。客户要的不是一张GPU清单,而是“什么时候能跑、跑多快、故障怎么办、账单怎么算”。这要求服务商把机房、网络、存储、调度平台、模型工具链、安全隔离做成一套可运营的体系。报告提到全栈服务体系,落到实际就是几个能力:异构资源池化、任务排队与优先级、按需计费、故障隔离、数据加密、模型版本管理。少一个,客户在生产环境就会犹豫。

对服务商来说,还有一个容易被低估的难点:利用率管理。算力租赁如果只按整卡整月卖,遇到客户任务潮汐,资源就会闲置;如果切得太碎,调度开销和隔离成本又会上来。更现实的做法是按任务类型分层:长周期训练给稳定资源池,短周期推理给弹性资源池,临时验证给抢占式资源池。这样既能保住大客户,又能接住中小团队的碎片需求。报告提到算力共享通过资源池化和动态调度实现成本分摊,这个方向对供给侧的调度系统要求很高,不是简单开个控制台就能解决。

对需求方来说,选择算力服务时要多问几个问题:加速卡型号和互联方式是否匹配当前模型;存储是否支持高吞吐并发读写;网络是否支持多节点并行;故障恢复是否有明确SLA;数据删除和模型下线是否有审计记录。这些问题不性感,但决定了后续会不会踩坑。价格低不是唯一指标,单位有效算力成本才是。

3.3 应用侧:行业渗透排名变化透露场景优先级

报告给出的行业渗透度排名前五依次是互联网、金融、运营商、制造、公共服务。金融从第四名升到第二,制造从第五名升到第四。这个位次变化比排名本身更有信息量。互联网排第一不意外,它有数据、有场景、有工程团队,大模型研发和应用推广起步早。金融上升,说明风控、投资决策、个性化财富管理等场景开始从试点走向更深的业务融合。制造上升,说明人工智能在生产线、产品设计、运营和安监等场景的渗透在加快。运营商和公共服务则更多承担基础设施和公共能力建设的角色。

从行业角度看,这个排名透露的是“谁先为算力买单”。互联网和金融对推理延迟、并发能力、数据安全更敏感,容易先采购高性能算力和服务;制造对实时性、边缘部署、与工业系统集成要求更高,落地节奏会更稳;公共服务更看重合规、稳定和长期运营。不同行业的付费逻辑不同,供给侧的方案也不能一套打天下。金融客户会追问数据隔离和审计,制造客户会追问边缘节点和断网续传,互联网客户会追问弹性扩缩容和单位成本。报告把行业渗透度单独拿出来评估,实际上是在提醒从业者:算力不是通用商品,场景决定配置。

应用侧还有一个信号是开源模型的普及。报告预测2025年55%的企业会使用开源基础模型开发应用程序,原因包括更快获得创新能力、运营主权、透明度和更低成本。这个判断对应用团队影响很大:过去自研模型门槛高,现在可以在开源基座上调优、蒸馏、做RAG,把精力放在数据和场景上。但开源不等于免费,部署、微调、推理优化、安全加固都要投入。企业如果只算模型下载成本,不算工程成本,很容易在后期超支。

4. 误读层:这份报告最容易被读错的四个判断

这份报告数字密集,最容易被拿去做两种极端解读:一种是把规模增速当成无限扩张的证据,另一种是把算法效率提升当成算力需求见顶的信号。两种读法都漏掉了报告真正的结构:算力需求在从训练单极走向训练、推理、边缘多极,供给在从卖设备走向卖服务,约束在从“有没有卡”走向“有没有电、有没有利用率”。下面四个误判,是从业者讨论这份报告时最容易出现的偏差。

4.1 误判一:算法效率提升等于算力需求见顶

误判点:看到某类开源推理模型把训练算力降到同量级模型的十分之一、推理缓存降低50倍,就判断算力需求要见顶,服务器和智算中心建设会放缓。

为什么:算法效率提升降低的是单位任务成本,不是总任务量。报告用杰文斯悖论解释这个现象:效率提升带来成本下降,更多用户和场景被拉进来,总需求反而增长。报告还提到,规模法则正在从预训练扩展到后训练和推理阶段,强化学习、思维链等创新在后训练和推理阶段投入更多算力,可以提升深度思考能力。也就是说,省下来的算力并没有消失,而是被重新分配到后训练、推理和多场景应用中。

怎么看:不要用“单次训练成本”判断总算力需求,要看“任务总量×单任务算力×调用频次”。训练侧可能因为算法优化出现波动,推理侧却会随着用户规模和应用数量持续上升。报告给出的服务器市场曲线和算力服务市场曲线都还在增长,说明产业判断不是需求见顶,而是需求换挡。对从业者来说,真正要关注的是算力结构变化:训练集群可能更集中,推理集群更分散,边缘节点更多。采购和调度策略要跟着变,不能还用训练时代的整卡整月模式去接推理的潮汐负载。

4.2 误判二:智能算力增速高,通用算力就不重要

误判点:智能算力年复合增长率46.2%,通用算力只有18.8%,于是把通用算力当成边缘角色,认为预算可以大幅压缩。

为什么:智能算力再强,也要靠通用算力做调度、数据预处理、数据库、业务逻辑、安全审计和周边系统。大模型训练不是只跑一个加速卡集群,前面有数据清洗和特征工程,后面有结果存储、检索、监控和业务集成。推理服务也要靠CPU做请求路由、缓存管理、权限校验。报告把智能算力和通用算力分开测算,本身就说明两者是不同口径、不同用途。通用算力增速低,是因为基数大、成熟度高,不代表可以缺位。

怎么看:把通用算力看成“配套”而不是“配角”。在规划智算中心时,CPU节点、存储节点、管理节点的配比要跟加速卡规模匹配。加速卡越多,数据吞吐和调度压力越大,通用算力不足会直接拉低整体利用率。报告提到优化内存层次结构、减少数据传输延迟、利用智能调度算法分配任务,这些都需要通用算力底座支撑。预算上可以倾斜智能算力,但不能把通用算力压到影响整条链路。

4.3 误判三:液冷只是数据中心的可选项

误判点:认为液冷是大型园区才需要考虑的先进技术,中小规模机房继续用风冷也能撑,等功率密度再高再说。

为什么:报告给出的单机柜功率上限已经很高,GPU功耗在250W到700W之间,服务器单机柜功率可高达130KW。这个量级下,传统风冷的散热能力边界越来越紧。液冷不只是降温手段,还影响计算密度、机房选址、供电规划和运维流程。报告预测2028年液冷服务器市场达到105亿美元,年复合增长率48.3%,这个增速不是靠概念撑起来的,而是高密度机柜增长的直接结果。

怎么看:把液冷当成规划问题,不是事后补丁。新建高密度机房要在设计阶段就考虑冷板、分液器、管路、漏液监测和运维培训;存量机房改造要先算承重、供电和空间,不能只看服务器能不能塞进去。液冷也不是一上就省心,运维流程、备件体系、故障处理都要重新建立。对管理层来说,液冷投资要放进总算力成本模型里看,不能只对比服务器单价。

4.4 误判四:开源模型只是低价替代

误判点:把开源模型当成“便宜版闭源模型”,只在预算紧张时使用,认为能力上限和长期价值有限。

为什么:报告预测2025年55%的企业会使用开源基础模型开发应用程序,原因包括更快获得创新能力、运营主权、透明度和更低成本。开源模型的价值不只是价格,而是可定制、可审计、可私有化部署。企业可以在开源基座上做领域微调、蒸馏、RAG,把数据和业务逻辑掌握在自己手里。报告还提到开源模型性能水平在提升,部署成本在下降,这使开源成为应用落地的重要力量。

怎么看:开源不是免费,而是把成本从“授权费”转移到“工程能力”。企业要评估的是总拥有成本:模型部署、微调、推理优化、安全加固、版本升级、人才储备。对应用团队来说,开源模型适合做差异化场景,闭源模型适合做快速验证和通用能力补充,两者不是非此即彼。真正要避免的是“下载了开源模型就以为完成落地”,没有数据治理和工程优化,开源模型也会变成新的技术债。

5. 技术层:报告里最容易被略过的五个工程信号

报告的技术章节看起来像硬件清单,实际藏着几个工程信号:芯片和服务器在往高性能与高效能同时走,存储和网络在补木桶短板,边缘推理在改变部署账本,算法创新在重新分配算力消耗,算力服务在把交付责任从客户转移到供给方。这些信号对架构师和运维团队的影响,比宏观数字更直接。

5.1 芯片与服务器:高性能和高效能不是二选一

报告把芯片和服务器的发展方向概括为高性能与高效能并重,同时强调开放多元体系。这个判断有两层含义:第一,单芯片性能要继续提升,单节点要能支撑更大参数模型的训练;第二,能效比要同步提升,否则机房电力和制冷扛不住。报告提到8块高性能GPU的服务器可以支持2,000亿参数模型训练,扩展到72块高性能GPU可以支持万亿参数模型训练。这个对比说明,单节点算力密度仍然重要,但节点之间的互联和调度同样关键。

开放多元体系是另一个信号。报告提到GPU、CPU、DSA、ASIC等多种芯片被广泛应用在训练与推理中,不少场景实现多类型芯片混合使用。从工程角度看,混合异构会带来编译、调度、通信库、算子适配的复杂度。企业如果选择多元路线,要提前评估软件栈成熟度和迁移成本,不能只看峰值算力。对服务器厂商来说,真正的竞争力不只是插槽数量,而是能不能把不同芯片、不同拓扑、不同冷却方案做成稳定交付的整机柜方案。

5.2 存储与网络:全闪存和先进网络在补木桶短板

报告提到分布式存储与全闪存提升性能,先进网络架构优化数据访问速度。大模型训练和推理不是纯计算问题,数据读写、检查点保存、模型加载、缓存命中都会影响整体效率。训练集群规模越大,存储吞吐和网络带宽越容易成为瓶颈。全闪存的价值在于降低高并发小文件读写延迟,分布式存储的价值在于横向扩展容量和吞吐。网络侧则要看互联带宽、拥塞控制、拓扑设计,千卡以上集群如果网络设计不好,加速卡利用率会被通信等待吃掉。

从行业角度看,存储和网络是最容易被预算压缩的部分,也是最容易在项目后期翻车的部分。算力采购有明确指标,存储和网络往往被当成配套,结果训练任务一上量,数据加载跟不上,GPU空转。更稳妥的做法是在规划阶段就把存储吞吐、网络带宽、故障恢复纳入验收指标,而不是等系统上线后再补。

5.3 边缘与端侧:推理下沉改变部署账本

报告把边缘计算单列,指出大模型部署向边缘迁移,智慧边缘加速模型推理。这个信号对部署架构影响很大。过去大模型主要在数据中心训练和推理,现在轻量化模型可以放到边缘设备上做实时翻译、语音识别、关键分析等任务,降低回传延迟和中心侧压力。边缘部署的账本和数据中心不同:设备成本、功耗、散热、网络稳定性、远程运维都是变量。边缘节点数量一多,运维复杂度会指数级上升。

从工程角度看,边缘推理要先做场景分层。低延迟、强隐私、断网可用的场景适合下沉;需要大参数模型、复杂上下文、集中审计的场景仍适合中心侧。混合部署时,模型版本管理、数据同步、安全策略要统一,否则会出现边缘和中心行为不一致。报告提到云边端协同,实际落地时最难的往往不是模型压缩,而是运维体系和权限边界。

5.4 算法与模型:剪枝、蒸馏、MoE如何落到算力账上

报告把算法创新视为提升算力效率的关键,提到模型剪枝、知识蒸馏、高效模型架构、分布式计算等方法。这些方法听起来偏算法,实际都会改变算力账本。剪枝减少参数和计算量,蒸馏把大模型能力迁移到小模型,高效架构降低单位token的计算消耗,分布式计算则把任务拆到更多节点上并行。报告还举了混合专家模型的例子,通过门控网络构建多个专家,让不同token激活不同专家,从而降低单token训练和推理算力。

下面用一个简化脚本估算推理侧的单位token成本,帮助把“模型效率”翻译成“账本语言”。参数只是示例,不代表任何厂商实测,实际取值要用自己的压测结果替换。

# 简化推理成本估算:把吞吐、缓存命中、GPU利用率和电价放进同一个模型 # 所有参数均为示例,实际使用前必须用压测数据替换 qps = 120 # 每秒请求数 input_tokens = 800 # 平均输入token output_tokens = 300 # 平均输出token cache_hit_rate = 0.35 # 前缀缓存命中率 gpu_hourly_cost = 18.0 # 单卡每小时综合成本,含折旧、电费、运维 gpu_count = 8 # 推理集群卡数 gpu_util = 0.62 # 有效GPU利用率 seconds_per_hour = 3600 # 缓存命中后,输入侧有效token按比例下降;这里只做保守估算 effective_input = input_tokens * (1 - cache_hit_rate * 0.5) tokens_per_request = effective_input + output_tokens total_tokens_per_hour = qps * tokens_per_request * seconds_per_hour cost_per_hour = gpu_hourly_cost * gpu_count # 用利用率折算有效产出,避免把账面算力当成实际吞吐 effective_tokens = total_tokens_per_hour * gpu_util cost_per_million_tokens = cost_per_hour / effective_tokens * 1_000_000 print(f"每小时有效token: {effective_tokens:,.0f}") print(f"每百万token成本: {cost_per_million_tokens:.2f}")

这段脚本的逻辑很直接:先算每个请求的有效token,再乘QPS得到每小时总token,最后用GPU小时成本除以有效token。参数里最容易被忽略的是cache_hit_rate和gpu_util。缓存命中率提升会直接减少输入侧重复计算,GPU利用率提升会摊薄固定成本。很多团队只盯模型单价,不盯这两个参数,结果账面成本很低,实际账单很高。反过来,如果为了追求高利用率把延迟压得太狠,用户体验又会下降,所以要在QPS、延迟、成本之间做平衡。

5.5 算力服务:全栈体系把“买算力”变成“买交付”

报告把人工智能算力服务单列,提出构建全栈服务体系,加速大模型应用落地。这个信号意味着供给侧的交付边界在扩展。过去卖算力是卖资源,现在客户要的是从机房到模型运行环境的一整套能力。全栈服务不是把所有环节都自己做,而是把接口标准化:资源申请、环境部署、任务提交、监控告警、故障恢复、计费结算,每个环节都要有明确的责任边界。对客户来说,这降低了自建门槛;对服务商来说,这提高了运营复杂度和资金占用。

从行业角度看,算力服务市场增速高,但利润不会平均分布。标准化程度高的资源租赁竞争激烈,靠近模型工具链和行业交付的服务更有溢价。服务商如果只卖裸算力,很容易陷入价格战;如果能提供模型微调、推理优化、数据治理、安全合规等增值能力,客户黏性会更强。对需求方来说,选服务商时要看的不只是卡型和价格,还要看故障响应、数据隔离、迁移成本和退出机制。算力可以租,数据和业务连续性不能租。

6. 趋势判断:2025之后,算力竞争会从规模战转向利用率战

把报告里的数字串起来看,2025年之后算力竞争的重心会往“利用率”挪。规模仍然重要,1,037.3 EFLOPS到2,781.9 EFLOPS的曲线还在,服务器和算力服务市场也在增长;但约束条件变了,电力、制冷、网络、存储、调度、应用接入,任何一环跟不上,规模就会变成账面数字。报告反复提“扩容+提效”并行,本质是在说:扩容决定能不能接住需求,提效决定接住之后赚不赚钱。

对从业者来说,接下来要盯住三个观察点。第一,推理侧的单位token成本。训练侧的大任务数量有限,推理侧才是日常运营,缓存命中率、批处理策略、GPU利用率会直接决定账单。第二,集群的故障恢复时间。千卡以上集群,节点故障是常态,恢复慢一小时,损失可能比省下来的硬件钱更多。第三,液冷和供电的匹配度。高密度机柜不是买回来就能上架,规划阶段没算清楚,后期改造成本会很高。

观察点2025年之前的常见做法2025年之后更值得关注的动作
算力采购按峰值预留,整卡整月按任务分层,训练稳定池+推理弹性池
成本核算看单卡价格、单P成本看单位有效token成本、故障恢复成本
基础设施先上服务器,再补制冷机柜、供电、液冷、网络同步规划
应用落地先做Demo,再想生产先定数据和验收指标,再扩算力

对管理层来说,这份报告最有价值的地方不是预测数字,而是把算力投资的约束条件摆到了同一张桌上。预算审批时如果只写“需要多少P”,很难说清回报;如果能写清“这批算力服务多少场景、单位任务成本下降多少、故障切换控制在多少分钟、能耗和机柜怎么匹配”,决策质量会高很多。对技术团队来说,别把报告当成采购清单,把它当成口径核对表:规模数字看口径,服务器数字看结构,服务数字看交付,能耗数字看约束,排名数字看场景。

从那以后我每次看这类评估报告,都强制自己先翻口径页,再回到规模页,最后才看结论页。血泪经验是,跳过口径直接看增速,很容易把不同口径的数字拿来做比较,最后在内部汇报时翻车。需要拿原始图表做讨论的,可以在资源入口取这份评估报告,先看排名和建议两章,再回到口径页核对。希望帮到你。

本文还有配套的精品资源,点击获取

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询