☰
35B总参数只激活3B:Ornith这只“偷工减料“的AI小鸟,凭什么跑得又快又强?
2026/10/30 2:27:41 网站建设 项目流程

35B总参数只激活3B:Ornith这只"偷工减料"的AI小鸟,凭什么跑得又快又强?

最近AI圈被一只"小鸟"刷屏了——开源的Ornith-1.5系列大模型,从9B到397B一口气发了三个版本,最大号的甚至放话要叫板Claude Opus 4.8,量化版还能塞进iPhone 17里跑。

但真正让懂行的人拍案叫绝的,是中间这个"35B-A3B"的版本:它肚子里明明装着350亿个参数,可每次回答问题时,真正被叫起来干活的只有大约30亿个,连十分之一都不到。

等等,"偷工减料"还能更快更强?这背后的秘密,值得咱们掰开揉碎聊一聊。

一、先搞明白:AI模型里的"参数"到底是个啥?

你可以把参数想象成AI大脑里的"知识神经元"——参数越多,理论上懂得越多、越聪明,但动起来也越费电、越慢。

以前的大模型大多是"稠密型"的,什么意思呢?就是它思考问题的时候,350亿个参数全体出动、一个不落,像是一家公司开会,不管大事小事,全员几百号人都得列席,效率能高到哪去?

所以大家一直有个朴素的认知:想要更聪明的AI,就得堆参数;参数一多,普通人的电脑就跑不动了,只有大厂才玩得起。

直到"混合专家"(MoE)这种架构出现,局面才被打破。

二、所谓"偷工减料",其实是学会了"按需点将"

拿Ornith-1.5-35B-A3B来说,它就像开了一家拥有35位各科专家的大医院。

病人来看病,它不会傻乎乎地把35位专家全叫来会诊,而是先快速判断:你这是感冒还是骨折?然后只喊最对口的2~3位专家过来,看完病、开完药,其他人继续待命。

这套"谁专业谁来"的机制,就是稀疏激活,也就是MoE(混合专家)的核心思路。

Ornith-1.5-35B-A3B每次推理只激活约3B参数,意味着它干活时消耗的算力,相当于一个30亿参数小模型的量级——可它脑容量又是实打实的350亿。

小模型的成本,大模型的智慧,这就是它最"心机"的地方。

三、省下的算力,都换成了"快"和"强"

先说快。社区里有玩家用16G显存的显卡实测对比,Ornith 35B的推理速度比同尺寸的Qwen 35B还要快上一截,出字更利索、响应更跟手。因为你只让3B参数干活,计算量小了,自然跑得飞快。

再说省。过去想本地跑35B级别的大模型,没个大几十G显存想都别想。现在凭借"只激活3B"的设计加上GGUF量化压缩,16G显存甚至普通Mac都能跑起来,无数玩家在社区里晒出了本地部署成功截图——这对隐私敏感、又不想给云端AI"喂数据"的朋友来说,简直是福音。

最后说强,这才是最反直觉的地方。在权威的编程能力测试里,Ornith-1.5-35B-A3B拿到了SWE-bench Verified79分,而同规模的Qwen 3.6-35B-A3B只有73.4分,传统大模型Gemma-4-31B更是只有52分;在终端操作测试中它拿下67.8分,把对手52.5分甩开一大截;在DeepSWE这种"自己动手改真实项目"的硬核测试里,它拿了22分,而竞品直接挂零。

没怎么出力的它,反而把全员出动的对手按在地上摩擦。知识都在脑子里,只是学会了精准调用而已。

四、天上不会白掉馅饼:它也有"贵"的地方

当然,"偷工减料"也不是没有代价。

最大的代价在于:虽然每次只算3B,但35B的"家当"得全部装进内存里。就好比医院虽然每次只派3位专家出诊,但35位专家的办公室、工资、设备都得养着。

所以Ornith-1.5-35B-A3B的原版模型体积不小(大约70GB),想全精度跑起来,官方建议还是得两台80G显存的显卡伺候着。

不过别慌,好消息是GGUF量化版已经把门槛砍了一大截——一张主流游戏显卡甚至内存大点的电脑,就能把它请回家,这也是咱们普通人能玩转它的关键。

五、普通人怎么上手?门槛高不高?

老实说,它确实更偏"技术宅的玩具"——毕竟这模型最擅长的不是陪你聊天,而是干活:写代码、改bug、操作电脑、多步骤任务规划,属于"数字员工"型选手。

上手方式也够简单粗暴:

  • 用Ollama这类一键工具,一条命令就能下载并跑起来,连代码都不用写;
  • 手头有16G显存显卡或Mac的朋友,社区里已经有人跑通了,跟着教程照做就行;
  • 想更省事,还有各种本地AI助手软件直接集成它,装好即用。

如果你是程序员、AI发烧友,或者自媒体创作者,想在本地拥有一个不联网、不泄露隐私、随叫随到的编程助手,这只小鸟绝对值得一试。

六、写在最后

回到开头那个问题:35B总参数只激活3B,到底是"偷工减料",还是更聪明的花钱方式?

其实答案已经摆在眼前——稀疏激活不是偷懒,而是学会了把钱花在刀刃上。它让"小算力跑大模型"从梦想变成现实,也让AI从云端大厂的专属品,一步步走向普通人的电脑甚至手机。

更让人期待的是,Ornith团队还透露这套"自我进化"的训练机制:AI自己出题、自己练手、自己变强。照这个趋势下去,明年会不会连手机上的AI,都能写出一整个项目?

最后抛个话题:你觉得"干得少、跑得快、还更强"的AI,是技术真进步,还是营销噱头?欢迎来评论区聊聊你的看法,顺便说说你希望这样的本地AI帮你干点啥。

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询