企业官网建设流程全解析

note

• Qwen-Audio-Jev 本质是把生成式 Audio LLM 改造成 Question-conditioned 判别模型。分类头、回归头并不新颖，真正有价值的是统一 CHOICE / NOUL / SCORE 三类输出接口，并结合异构任务监督和概率校准训练。
• 相比让 LLM 输出0.83这样的文本，直接预测概率分布更适合高吞吐量分类、音频审核、说话人验证、质量评估等业务。
• SFT 阶段：联合训练音频编码器、LLM Backbone 和 Decision Head，按任务类型采用不同 Loss：CHOICE：分类交叉熵；NOUL：二元交叉熵（BCE）；SCORE：交叉熵 + CDF 顺序约束 + SmoothL1 期望分数损失。训练数据统一为Audio–Question–Criteria–Target，不同任务只计算对应 Head 的 Loss，不使用 Next-Token Prediction Loss。
• RLCD 阶段：将决策建模为单步 Contextual Bandit，每个问题从同一次前向得到的概率分布中采样 32 个动作，利用 Brier Score 等评分规则构造奖励，通过 REINFORCE 优化概率预测。其目标不是复杂推理，而是让预测概率更可靠、更符合真实结果频率（Calibration）。

一、研究动机：用生成模型做判别任务，是否太重了？

论文：Qwen-Audio-Jev: A Unified Interface for Audio Decisions

传统音频大模型处理分类、判断、打分任务时，通常采用自回归生成：

音频 + Query → LLM 逐 Token 生成答案 → 解析结果

但很多业务只需要一个类别、概率或分数。例如判断两段语音是否来自同一人，直接输出概率即可，没必要生成一段文本。

Qwen-Audio-Jev 的核心思路是：保留大模型的音频理解能力，但将生成式输出改为直接决策。

二、核心方法：共享 Backbone + 三类 Decision Head

模型基于Qwen-Audio-3.1-ASR-Flash-Next，保留 Audio Encoder、Adaptor 和 MoE Decoder。

输入为Audio + Question + Answer Specification，提取 Decoder 在答案生成前的最后一个隐藏状态h，经过轻量线性投影直接得到结果：

Audio → Encoder → Adaptor → LLM Decoder → h → Jev Head

统一支持三种决策：

1. CHOICE（多选分类）：线性层 + Softmax，输出候选类别概率，例如“狗叫 0.8、猫叫 0.2”，最多支持 64 个选项。
2. NOUL（二元判断）：线性层 + Sigmoid，输出命题成立概率，例如“两段音频是同一说话人”的概率为 0.9。
3. SCORE（连续评分）：预测最多 10 个有序评分等级的概率分布，再计算期望值，例如语音质量 MOS=4.2。

本质就是在大模型隐藏状态上接分类/回归头，而不是让模型生成数字 Token。

三、训练方式：SFT + 可选 RLCD

SFT 阶段：联合训练音频编码器、LLM Backbone 和 Decision Head，按任务类型采用不同 Loss：

• CHOICE：分类交叉熵。
• NOUL：二元交叉熵（BCE）。
• SCORE：交叉熵 + CDF 顺序约束 + SmoothL1 期望分数损失。

训练数据统一为Audio–Question–Criteria–Target，不同任务只计算对应 Head 的 Loss，不使用 Next-Token Prediction Loss。

RLCD 阶段：将决策建模为单步 Contextual Bandit，每个问题从同一次前向得到的概率分布中采样 32 个动作，利用 Brier Score 等评分规则构造奖励，通过 REINFORCE 优化概率预测。

其目标不是复杂推理，而是让预测概率更可靠、更符合真实结果频率（Calibration）。

四、实验结果

论文在 18 组音频任务上验证：

• CHOICE：MMAU 准确率 78.40%，MMSU 83.14%。
  • MMAU 测试广义音频理解能力，MMSU 更侧重人类语音的细粒度理解能力
• NOUL：VoxCeleb1-O 说话人验证准确率 93.76%，EER 6.17%。
• SCORE：NISQA 总体语音质量预测 MAE=0.494，Pearson=0.780。

但复杂音频问答、情绪识别等任务仍有明显提升空间。

五、技术评价：创新不在 Head，而在任务范式

Qwen-Audio-Jev 本质是把生成式 Audio LLM 改造成 Question-conditioned 判别模型。

分类头、回归头并不新颖，真正有价值的是统一 CHOICE / NOUL / SCORE 三类输出接口，并结合异构任务监督和概率校准训练。

相比让 LLM 输出0.83这样的文本，直接预测概率分布更适合高吞吐量分类、音频审核、说话人验证、质量评估等业务。

核心启示：不是所有多模态理解任务都需要生成式解码。对于答案空间明确的任务，直接 Decision Head 可能是更高效、更可控的技术路线。