10月12日,微软在官方博客上更新了自研AI芯片的进度:Maia 200已进入生产环境,主要用来支撑Copilot这类产品的推理;下一代Maia 300定在2027年开始部署,整套Azure Maia系统计划扩展到"多吉瓦"(multi-gigawatt)规模。说白了就是,自研芯片不再只是发布会上的展示品,微软打算把它当成未来跑AI的主力。
先把这个事的性质说清楚:Maia不是训练芯片,是推理芯片。
训练和推理,是两笔不同的账
训练是把模型"教"出来,要在超大集群上跑几周甚至几个月,拼的是算力和显存带宽,这一块目前基本还是英伟达GPU的主场。推理是模型训好之后,用户每问一句、每生成一段文字,背后跑的那部分计算。它拼的不是峰值算力,而是单位成本、延迟和能耗。
一个AI产品上线之后,真正天天烧钱的大多不是训练那一次,而是推理这日复一日的电费。所以微软这次公布的数字,几乎都围着"每瓦能处理多少token"转。
据微软官方说明,Maia 200相对业界顶尖GPU,每瓦token处理量提升约1.7倍;Maia 300预计每兆瓦token处理量再提升40%,一个装满96颗加速器的机柜,机柜级token处理量最高可达Maia 200的7倍。硬件上,Maia 300用了新的多chiplet架构、台积电N2P工艺,8组HBM4内存在950瓦功耗下提供最高18TB/s带宽,主打的就是长上下文、低延迟对话和多步骤Agent任务。
变了什么,没变什么
没变的是训练格局。至少目前微软没说要用Maia去训大模型,它讲得很明确,这套系统是"inference-first"——推理优先。你想训模型,还是得去租GPU。
变的是推理这条线上的选择权。以前云厂商做AI推理,芯片基本只能向英伟达买,价格和产能都受制于人。现在微软、亚马逊这些云厂商都在推自研推理芯片,逻辑很朴素:把最大宗、最标准化的那部分计算自己做,长期把成本压下来。
对开发者的意义也在这里。推理单价如果能降,你调API、跑Agent、做RAG的账单才有下降空间。它影响的是"每次调用贵不贵",而不是直接决定"模型强不强"。
但要清醒一点:芯片便宜,不等于你的账单明天就便宜。自研芯片省下来的成本,云厂商是拿去降价抢客户,还是装进自己的利润表,这是两回事。作为开发者,你能做的不是猜,而是把成本口径握在自己手里。
普通开发者怎么用、怎么选
第一,把账算到"每百万token单价"这个口径上。模型榜单看的是能力,账单看的是单价×用量。你真正该盯的指标是:同样一个任务,跑完要花多少钱、多少秒。别只看模型名字。
第二,别把业务绑死在一家。现在主流云和推理框架大多兼容OpenAI风格的接口,只要你不把业务代码写死在某家的私有SDK上,换模型、换供应商的成本就很低。下面这段脚本可以帮你先把"一次调用到底花多少钱"量出来。
# 依赖: pip install openaifromopenaiimportOpenAI client=OpenAI(base_url="https://your-endpoint/v1",# 换成你的服务地址api_key="sk-your-key",)resp=client.chat.completions.create(model="your-model",messages=[{"role":"user","content":"用一句话解释推理和训练的区别"}],)u=resp.usageprint(f"输入{u.prompt_tokens}tokens, 输出{u.completion_tokens}tokens")# 把下面两个单价换成你合同的真实价格(元/千token)in_price,out_price=0.001,0.002cost=u.prompt_tokens/1000*in_price+u.completion_tokens/1000*out_priceprint(f"本次调用约{cost:.6f}元")这个脚本对接任何兼容OpenAI接口的服务都能跑,包括各家云和自部署的推理框架。
第三,如果你要自部署,低精度格式值得关注。Maia 300提到针对MXFP4这类低精度格式做了优化,能少占内存和带宽。落到自己机房里,就是量化——把模型用FP8、INT4甚至更激进的格式压一压,同样的卡能跑更大的上下文、更高的并发。代价是精度可能有损,得拿你自己的业务数据实测,别只看论文里的平均分。
有几个坑要提醒。一是"生态兼容",英伟达的CUDA生态用了十几年,很多算子、库是围着它长出来的,换平台不是改一行配置的事,迁移成本要提前算。二是别把"自研芯片"和"立刻降价"划等号,从投产到价格战传导到终端账单,中间隔着产能、供需和商业策略。三是别为了追新架构,把本来跑得好好的服务重写一遍。
说到底,这一轮芯片竞赛真正比的是"每块钱能买到多少token"。对开发者,这是个好消息,因为成本下降的方向是确定的;但它不会自动落到你头上,得你自己会算账。
你会为了省推理成本去折腾自部署吗,还是宁愿多付一点让云厂商管?评论区聊聊。