☰
Cloudflare 开源 Clef-omni 决策模型:一次调用处理文本、图像、音频和视频
2026/10/14 8:44:07 网站建设 项目流程

Cloudflare 在 10 月 9 日发布了一款叫Clef-omni的开源权重模型,权重已经放到 Hugging Face 上。它的卖点很直白:一次 API 调用就能同时处理文本、图像、音频和视频四类输入,并输出结构化的判断结果。据公开信息,距离它上一代 Clef / Clef-flash 发布只隔了 8 天。

一开始我也没太当回事——多模态模型早就满地跑了,这有什么新鲜的?翻完官方博客和开发者文档才发现,Clef-omni 不是普通的"多模态大模型",它属于一类叫**决策模型(Decision Model)**的东西,思路和 LLM 完全不同。

它不是 LLM,是个"打分类"的模型

普通大模型是"你问一句,它生成一段话"。Clef-omni 不生成文本,它接收一个state(状态描述)和一组带类型的 schema 问题,然后给每个候选选项返回一个概率值。官方支持三种问题类型:

  • noul:真假判断(是 / 否)
    • choice:多选一
    • score:给一个 0~1 的分数
      官方文档里的快速调用示例大致是这样:
curlhttps://api.cloudflare.com/client/v4/accounts/$CLOUDFLARE_ACCOUNT_ID/ai/run/@cf/cloudflare/clef-omni\-XPOST\-H"Authorization: Bearer$CLOUDFLARE_AUTH_TOKEN"\-H"Content-Type: application/json"\-d'{ "state": "检查设备安装:一张设备照片、一段运行录音、一段风扇视频", "images": ["data:image/png;base64,<base64-png>"], "audio": ["data:audio/mpeg;base64,<base64-mp3>"], "videos": ["data:video/mp4;base64,<base64-mp4>"], "questions": { "label_visible": {"type": "noul", "instructions": "照片里能否看到型号和序列号标签?"}, "sounds_normal": {"type": "noul", "instructions": "录音里设备听起来运转正常、没有异响吗?"}, "fan_running": {"type": "noul", "instructions": "视频里风扇在转吗?"} } }'``` 技术实现上,它是一个 **30B 总参数、3B 激活参数的 MoE 模型**,底座是 Qwen3-Omni-30B-A3B-Instruct。Cloudflare 的做法是:保留底座的多模态理解主干,砍掉文本转语音的输出部分,然后冻结主干、只训练 LoRA 适配器,用 label-smoothed 交叉熵加 Brier 分数校准做后训练。因为不生成 token,转录、打标这些环节全被跳过,音视频直接映射进统一序列一起打分。 **变了什么**:过去做多模态 Agent,通常要搭一条"语音转文字 → 文本理解 → 判断"的级联流水线,每多一步就多一次调用、一份延迟和一份出错概率。Clef-omni 把这条链压成了一次调用。 **没变什么**:它依然只负责"做判断",不会替你写代码、写文案。需要生成内容的任务,它帮不上忙。## 关键数据与边界按官方公布(据报道): - 上下文 **64k**,**Apache-2.0** 许可,输入价格 **$0.15 / 百万 token** - - 延迟:纯文本中位数约 **130ms**,图像约 **150ms**,一段21秒带声音的视频约 **1.5 秒**出结果 - - 输入限制:图像最多4张(PNG/JPEG/WebP);音频最多4段(WAV/MP3,单段300秒);视频最多2段(MP4/WebM,单段60秒,按每秒2帧采样);每次可提1~64 个问题 性能上它偏科很明显:意图分类类任务很强,CLINC150+OOS 拿到 **97.7 macro-F1**,是 Clef 家族四款里最高的;但硬推理任务偏弱,GPQA Diamond 只有47.4,低于 Jev 的78.3。官方自己也承认,在大多数推理和工作流评测上不如纯文本的 Clef。## 对普通开发者意味着什么如果你的场景是"给一堆内容打标 / 分类 / 做判断",比如垃圾评论识别、工单归类、发票字段抽取、内容审核,这类决策模型值得试一试。据 Cloudflare 披露,他们内部就在用它自动关闭 GitHub 垃圾 issue、给插件库做钓鱼内容审核、扫描个人身份信息。部署上除了 Workers AI 托管,也能自托管——官方称单张 H200、bfloat16 下约占 64GB 显存。 几个坑要提前知道:1. **别拿它当聊天模型。** 它不产出自然语言,指望它写总结会失望。2.2. **按场景选型号。** 推理密集的任务,乖乖用 Clef 或其他 LLM,别硬上 omni。3.3. **注意模态数量和时长上限。** 图像 / 音频 / 视频都有硬限制,长视频得先切。4.4. **benchmark 是厂商自己跑的**,没有第三方复现,落地前用自己的小样本验一遍。 决策模型能不能成为 Agent 里"做路由、做判断"的默认零件,我觉得还得看生态跟不跟得上。你怎么看,评论区聊聊。

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询