月之暗面开源 Kimi K3 权重,开发者热议自建成本与技术路线
2026/7/30 6:59:39 网站建设 项目流程

【导语:月之暗面开源 Kimi K3 完整权重后,Hacker News 上开发者围绕其运行成本、性能及技术路线展开热烈讨论。Kimi K3 拥有 2.8 万亿参数等特性,虽性能有差距但有实际产出,定价较高,后续发展将由开发者决定。】


开源 3T 模型的运行难题

月之暗面开源 Kimi K3 完整权重第二天,Hacker News 上热门评论是关于其运行的算数题。MXFP4 原生精度下,光权重就要 1.5TB 显存,8 块 B200 勉强装下,实际部署至少 16 块。有人讨论用二手四路至强服务器插满 3TB DDR5 内存运行,速度大概每秒五六个 token,但也有人认为思考阶段耗时长,实际可用速度按天算。SSD offload 的结论更悲观,3T 级别可能慢到无法使用。

Kimi K3 技术细节与性能表现

7 月 27 日,Kimi 在官网博客发布 K3 技术细节。其具有 2.8 万亿参数,采用 MoE 架构,896 个专家每次激活 16 个,原生支持视觉和 100 万 token 上下文窗口。拥有三项核心技术,配合 MXFP4 权重量化训练,整体规模效率比前代 K2 提升约2.5 倍

基准测试中,虽整体性能落后于 Claude Fable 5 和 GPT - 5.6 Sol,但有实际产出,如 48 小时自主设计芯片、搭建 MiniTriton 编译器、复现计算天体物理研究等。

高定价与自建成本考量

定价方面,缓存命中输入 $0.30 / 百万 token,未命中 $3.00 / 百万 token,输出 $15.00 / 百万 token,Mooncake 分离式推理架构使编码场景缓存命中率超过 90%,价格与 Claude Sonnet 相近。

开发者开始算账,一台 3TB 内存服务器按美国平均电价算,一个月电费约 $135,但重度编码用户一周消耗 50 亿 token,一台服务器一个月只能跑 1300 万 token。不过电力成本可能不是重点,数据主权才是驱动力,一些公司因监管要求本地部署。

技术路线与未来展望

有人提到 AMD 即将推出的 Epyc Venice 和 MI355X 可能改变成本曲线,若推理成本下降,“自建 K3” 对中小团队不再是难事。还有人呼吁社区从 K3 做 “真正的蒸馏”,训练更小的模型。

HN 上讨论基调务实且兴奋,K3 是 “第一个和闭源前沿一样大的开源模型”,让社区有机会量化真实推理成本等参数。Kimi 开放权重后,后续发展由开发者决定。

编辑观点:Kimi K3 的开源为行业带来新契机,虽运行和成本问题待解,但技术路线多样,有望推动开源模型发展,满足不同场景需求。

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询