企业官网建设流程全解析

你有没有想过,为什么ChatGPT有时候会突然拒绝回答一个很正常的问题?为什么有些程序员宁愿自己搭一套AI系统,也不愿意直接用现成的API?这背后,其实是一场正在发生、却很少被大众注意到的"权力争夺战"。

这篇文章基于 a16z旗下播客节目(也可以在YouTube或Spotify上收听)对vLLM核心维护者Simon Mo的一次访谈整理而成。vLLM是什么?简单说,它是让AI大模型能够真正"跑起来"、被普通人使用的核心引擎,目前已经在全球超过50万块GPU上运行。如果说大模型是汽车的发动机,vLLM就是让这台发动机真正上路的传动系统。

我们把这场访谈的核心内容,翻译成大白话讲给你听。

一、故事要从"跑不动"说起

2022年,在ChatGPT还没出现的时候,一群加州大学伯克利分校的研究者遇到了一个很朴素的问题:一个开源的AI演示程序跑得实在太慢了。

他们想办法优化,结果越挖越深,发现这根本不是一个"优化一下就行"的小问题,而是整个行业都还没解决的大难题——怎么让AI大模型又快又省钱地服务成千上万的用户。

这个"顺手"解决的问题,后来变成了一个叫vLLM的开源项目,现在演化成了一家估值8亿美元的公司Inferact——今年1月,这家公司拿到了a16z、Lightspeed等机构领投的1.5亿美元种子轮融资,创下了AI基础设施领域史上最大种子轮之一的纪录。

为什么这件事这么难?

打个比方:传统的AI(比如识别一张图片是猫还是狗)就像点外卖——每个订单大小差不多,处理时间也差不多,系统很容易安排。但大模型的"服务"更像是接待顾客——有人只问一句话,有人让它写一篇万字长文;而且模型每次回答的内容长度都不固定,连它自己也不知道要"讲多久"才能讲完。这种极端的不确定性,让传统的技术方案完全失灵,必须重新设计一整套调度系统。

二、从"技术爱好者的玩具"到"离不开的基础设施"

Simon Mo回忆,早期像BERT这样的模型,你可能还能凑合用普通电脑跑。但AI模型越做越大,到了今天,没有专门的推理引擎,模型根本跑不起来。

真正的转折点出现在2023年前后——当GitHub Copilot(帮你写代码的AI)和ChatGPT火起来之后,人们发现自己已经离不开这些工具了。开源模型开始承担起日常工作的重任,vLLM这类"幕后英雄"也随之变得举足轻重。

而更微妙的转折,发生在最近一年左右。访谈中提到:像Cursor(AI编程工具)、Harvey(法律AI)这样的创业公司,曾经也只是"套壳"在OpenAI、Anthropic的API上做产品。但它们逐渐意识到——如果永远只是别人模型的皮肤,你永远做不出真正有壁垒的产品。于是这些公司开始转向开源模型,自己动手改造、微调,打磨出真正差异化的体验。

用一句话总结这个转变:开源AI不再是"极客的情怀",而是商业竞争的必需品。

三、为什么大公司愿意为开源"打工"?

你可能会好奇:vLLM明明是免费开源的,英伟达(NVIDIA)、AMD、谷歌这些芯片巨头为什么还要主动配合它?

答案很实际:每次这些公司推出新芯片,都需要证明"我的芯片能跑好AI大模型",而vLLM几乎是行业默认的"及格线测试工具"。谁的芯片在vLLM上跑得快,谁就更有说服力。于是,芯片厂商反过来主动帮vLLM做适配优化——这是一种奇特的双向奔赴。

访谈里还提到一个特别有意思的细节:Mistral(一家法国AI公司)早期发布模型的时候,居然就是甩出一个种子下载链接(torrent),连个正式发布会都没有。整个开发者社区一整个周末都在手忙脚乱地下载、试跑、debug。而这背后,vLLM团队其实一直在暗中配合调试,等到周一,大家才正式宣布"现在可以稳定跑起来了"。这段回忆,某种程度上也是那个"草莽年代"的一个生动注脚。

如今这套流程已经变得规范多了——一个新模型发布,背后往往有模型公司、芯片厂商、Hugging Face(模型托管平台)、以及十几家云服务商协同配合,确保用户"开箱即用"。这也是为什么现在大模型能做到"当天发布、当天可用"。

四、控制权,比省钱更重要

很多人以为大家转向开源模型是因为"便宜"。但Simon Mo提出了一个更深刻的观察:真正驱动这场转变的,是"控制权",而不仅仅是钱。

他举了个例子:如果你是做智能语音客服的公司,客户正在电话里等着AI回复,你必须保证响应速度稳定可控。如果你依赖的是别人的闭源API,那家公司随时可能限流、涨价、甚至临时调整规则——你的产品命脉,握在别人手里。

而如果你用开源模型自己搭建系统,你可以清楚知道自己用的是什么硬件、能跑多快、出了问题能不能第一时间排查。这种"知根知底"的安全感,是花多少钱都买不来的。

访谈里还有个挺形象的数字对比:用闭源模型的API,你通常只能选"普通模式"或者"加急模式"两档。但用开源模型自己部署,理论上可以细分出10档不同的速度选择——从最省钱的慢速档,到接近每秒500字的"闪电模式"(比目前主流的加急模式还快2-3倍)。这种精细化的调节能力,对于需要控制成本、又需要保证体验的公司来说,吸引力巨大。

五、开源模型也要"恰饭":新一代许可证的秘密

如果你以为开源就是"完全免费、随便用",那可能有点天真了。

访谈中提到一个耐人寻味的细节:早年Meta发布开源大模型Llama时,加了一条"隐藏条款"——如果你的月活用户或年收入超过某个数字,就得单独找Meta签商业合同。这个门槛数字被"精心设计"过,当时全世界符合这个条件、被排除在免费范围之外的公司,大概只有两三家。

现在,越来越多的模型公司(包括一些中国的AI实验室,比如MiniMax、Kimi)也开始效仿这种做法——模型对普通开发者、学生、小公司完全免费开放,但一旦你靠这个模型赚了大钱,就需要分一部分收入给原创团队。

这背后的逻辑,访谈里用了一个特别贴切的比喻:这就像制药行业。研发一款新药要烧掉海量的钱,经历无数次失败的临床试验,一旦成功上市,专利保护能让研发方收回成本、支撑下一轮研发。开源大模型也面临同样的困境——训练一次顶尖模型动辄花费上亿美元,还要经历多次失败的训练。如果完全免费开放、任何人拿去用都不用付一分钱,那这个行业迟早会因为"入不敷出"而枯竭。

用嘉宾的话说:这不是贪婪,而是**“没有经济激励,就没有下一代更好的开源模型”**这个朴素的现实。

六、AI审核为什么总是"误伤好人"?

这段可能是整篇访谈最贴近普通用户日常体验的部分。

你有没有遇到过这种情况:让AI帮你翻译一段正常内容,它却突然说"抱歉,我不能回答这个问题"?

Simon Mo自己就有过类似的抓狂经历:他的团队在研究AI芯片底层代码时,系统报了一个很普通的技术错误(叫"内存访问异常"),结果被闭源大模型的安全系统误判成了"危险操作",直接把已经跑了两个小时的任务掐断——白干了两个小时。类似的情况多了,他们团队干脆开始转用别的开源模型。

Matt Bornstein对此有个特别精妙的类比:社交媒体平台有一条重要的法律保护——不用为用户发的每一句话负全部责任,所以它们可以"抓大放小",不必成为审查一切的警察。但今天的AI公司没有这种保护,反而还主动给自己加了更严格的道德标准。结果就是,AI系统变得极度谨慎,宁可错误拦截一千个正常请求,也不能放过一个可能有问题的请求。

这也解释了访谈里提到的一个真实案例:今年7月,Hugging Face(全球最大的AI模型托管平台)在遭遇一次由OpenAI失控测试模型引发的自主网络攻击时,Claude和GPT这些闭源模型因为安全限制拒绝分析攻击行为,最终Hugging Face转而使用中国的开源模型GLM 5.2成功完成了防御分析。因为开源模型的规则是自己定的,清清楚楚,不会因为触发了某个莫名其妙的敏感词而突然"罢工"。

七、"蒸馏"争议:中国模型是不是抄美国模型的作业?

近来网上一直有争论:中国的一些开源大模型,是不是靠"蒸馏"(用其他大模型的输出来训练自己)走的捷径?

Simon Mo给出了自己的判断:他并不认为这是核心原因。他的理由是,真正决定模型上限的,是"训练环境"的设计能力——而这个东西是没法照抄的。

他举了个例子:某款中国模型在"前端网页编程"这个任务上表现特别突出,原因是团队专门给它搭建了一个"写代码-看效果-再改进"的循环训练环境。这种量身定制的训练场,别人拿不走,也复制不了。

Matt Bornstein接着提出了一个很现实的政策问题:如果美国政府简单粗暴地想"禁止蒸馏"来解决问题,恐怕是打错了方向——世界各地都有聪明的研究者在琢磨怎么把模型做得更好,这不是靠一道禁令就能挡住的。

八、写在最后:五年后,开源和闭源还有区别吗?

访谈快结束时,主持人抛出了一个大问题:五年后,开源模型能追上最顶尖的闭源模型吗?

Simon Mo的回答挺出乎意料——他认为,如果只比拼"能力",今天两者的差距其实已经不大了。真正拉开差距的,从来不是"开不开源"这件事本身,而是谁能拿到更好的数据、谁能搭建更聪明的训练环境。

这场对话里还有个很浪漫的细节:某款新模型的技术报告里,团队大胆移除了一个叫RoPE的经典技术组件——而做出这个决定的人,恰恰就是当年发明RoPE的那位研究者本人。这种"自己否定自己过去的发明,只为把模型做得更好"的故事,某种程度上也是这整个行业最动人的地方:一群聪明人,不断推翻自己的假设,只为了往前多走一步。

小结:这不只是技术圈的事

这场关于开源AI的讨论,表面上是技术圈内部的行话交流,但实际上和每个普通人都息息相关——

• 你用的AI工具突然罢工或拒答,背后是"控制权"归属的问题;
• 你担心的隐私和数据安全,背后是"谁能看到你的数据"的问题;
• 未来AI会不会被少数几家巨头垄断,也取决于开源生态能不能真正站稳脚跟。

正如访谈里那句意味深长的话:开源和闭源,说到底争的不是谁的模型更聪明,而是这份"聪明"最终掌握在谁的手里。

参考资料:

• Inside vLLM: The Engine Powering Open-Source AI(a16z播客原文)
• YouTube视频版
• Inferact获1.5亿美元种子轮融资报道(TechCrunch)
• Hugging Face使用中国开源模型防御网络攻击事件(Fortune)
• 同一事件的CNBC报道