企业官网建设流程全解析

不止Chat Completions：New API 支持 Realtime、图像、音频与 Rerank 的进阶接口全景

【免费下载链接】new-apiA unified AI model hub for aggregation & distribution. It supports cross-converting various LLMs into OpenAI-compatible, Claude-compatible, or Gemini-compatible formats. A centralized gateway for personal and enterprise model management.项目地址: https://gitcode.com/gh_mirrors/ne/new-api

🍥New API是一款统一的AI 模型网关（LLM Gateway），可将各家大模型跨格式转换成OpenAI 兼容 / Claude 兼容 / Gemini 兼容协议。多数人只用了它的/v1/chat/completions，其实它还内置了Realtime 实时语音对话、图像生成与编辑、音频语音合成/识别/翻译、Rerank 重排序等一组进阶接口——一套 API Key、一个网关地址，就能打通多模态全链路。

本文将带你用一张全景图 + 逐接口拆解的方式，快速看懂 New API 的进阶能力与上手姿势 🚀。

一、为什么要走出 Chat Completions

传统用法只把 New API 当"OpenAI 代理"：

• 只对接文本问答，多模态还得另接官方域名；
• 每个厂商接口格式不同，客户端要写一堆分支逻辑；
• 计费、限流、渠道分发各自为政，难以统一管理。

New API 的做法是：把不同厂商、不同模态的请求统一"翻译"成标准协议，再由网关分发到对应渠道，最后统一计费。这样一来，客户端只需记住New API 地址 + API Key即可，天然适合个人与企业做集中式模型管理与分发。

核心源码见 relaykit/types/relay_format.go，其中定义了openai_realtime、openai_image、openai_audio、rerank等转发表达式。

二、进阶接口全景速览

先看这张速查表，一眼掌握 New API 除 Chat 之外的主力接口：

这些路由统一在 router/relay-router.go 中注册，全部复用middleware.TokenAuth()鉴权与middleware.Distribute()渠道分发。

三、Realtime 实时对话接口

1. 它解决什么问题

/v1/realtime走的是WebSocket（WSS）长连接，适合边说边听的低延迟场景：智能语音助手、实时字幕、语音 Agent 等。相比 HTTP 一问一答，Realtime 能持续双向推送，交互更自然。

2. 调用方式

wscat -c wss://<你的New-API地址>/v1/realtime -H "Authorization: Bearer <你的APIKey>"

连接建立后，网关会调用适配层完成握手并把事件流透传回客户端。核心逻辑在 relay/websocket.go 的WssHelper：

• 通过GetAdaptor(info.ApiType)找到对应渠道适配器；
• DoRequest建立目标 WebSocket，DoResponse处理事件流；
• 会话结束时调用PostWssConsumeQuota按RealtimeUsage统一扣费。

💡 优势：客户端只需连一次网关，即可在多种厂商的实时能力间自由切换。

四、图像生成与编辑接口

1. 文生图

/v1/images/generations采用OpenAI 图像协议，可直接复现官方dall·e风格的调用习惯：

curl https://<你的New-API地址>/v1/images/generations \ -H "Authorization: Bearer <你的APIKey>" \ -H "Content-Type: application/json" \ -d '{"model":"模型名","prompt":"一只戴帽子的柴犬","n":1,"size":"1024x1024"}'

2. 图像编辑

/v1/images/edits与/v1/edits支持基于已有图片做局部修改、风格迁移。处理流程同样收敛在 relay/image_handler.go 的ImageHelper：

• 请求体统一封装为dto.ImageRequest；
• 支持透传模式（PassThroughRequestEnabled）或协议转换两种通道；
• 计费时区分图像 Token 与文本 Token，分别走PostImageConsumeQuota/PostTextConsumeQuota。

这样无论后端接的是哪家图像厂商，客户端都只面向同一套 OpenAI 图像协议。

五、音频接口：合成、识别与翻译

New API 把音频拆成三个清晰的能力点，全部位于 relay/audio_handler.go：

调用示例（TTS）：

curl https://<你的New-API地址>/v1/audio/speech \ -H "Authorization: Bearer <你的APIKey>" \ -H "Content-Type: application/json" \ -d '{"model":"模型名","input":"你好，我是 New API","voice":"alloy"}'

计费逻辑（见 relay/audio_handler.go）很贴心：只要请求里含有音频 Token，就按音频计费，否则回落按文本计费，避免多模态请求被误算。

六、Rerank 重排序接口

在RAG（检索增强生成）场景里，向量召回的 Top-K 往往"够多但不够准"。/v1/rerank就是对召回结果做语义重排序，把最相关的片段排到最前，直接提升回答质量。

核心逻辑在 relay/rerank_handler.go：

1. 请求体封装为dto.RerankRequest；
2. 支持透传或协议转换两种方式转发到下游；
3. 支持跨厂商——无论接入的是哪家 Rerank 模型，客户端都用同一套请求格式。

🎯 典型链路：Embedding 向量化 → 向量库召回 → Rerank 重排 → LLM 生成，四个接口在 New API 里被串成一条完整 RAG 流水线。

七、统一的鉴权、分发与计费

进阶接口最大的价值，是它们共享同一套网关机制，这也是 New API 区别于"简单代理"的地方：

• 🔐统一鉴权：所有接口经middleware.TokenAuth()校验 API Key，无需为每种模态单独配置密钥；
• 🧭智能分发：middleware.Distribute()按分组、权重、渠道状态挑选上游；
• 🧾统一计费：文本 / 图像 / 音频 / 实时分别走PostTextConsumeQuota、PostImageConsumeQuota、PostAudioConsumeQuota、PostWssConsumeQuota，账单一目了然；
• ⚙️状态码映射：service.ResetStatusCode会把上游错误码统一转成标准响应，客户端处理更省心。

这意味着：新增一种厂商能力，只需实现对应适配器，其余（鉴权、限流、计费、日志）全部复用。

八、相关源码导航 📂

想深入某块能力，可从这些入口快速定位：

• 路由总入口：router/relay-router.go
• Realtime 握手：relay/websocket.go
• 图像处理：relay/image_handler.go
• 音频处理：relay/audio_handler.go
• Rerank 处理：relay/rerank_handler.go
• 向量嵌入：relay/embedding_handler.go
• 转发表达式：relaykit/types/relay_format.go
• 渠道类型常量：constant/channel.go

九、小结

New API 不只是一个 "Chat Completions 网关"。它把Realtime 实时对话、图像生成与编辑、音频合成/识别/翻译、Rerank 重排序、Embedding 向量化等进阶接口统一收口到一套 OpenAI 风格协议下，并共享鉴权、分发、计费、日志等网关能力。

对个人开发者，它降低了多模态接入成本；对企业团队，它提供了集中式模型管理与分发的底座。如果你正在搭建 RAG、语音助手或多模态应用，不妨把 New API 作为统一网关层来考虑——一个入口，打通所有模态🚀。

【免费下载链接】new-apiA unified AI model hub for aggregation & distribution. It supports cross-converting various LLMs into OpenAI-compatible, Claude-compatible, or Gemini-compatible formats. A centralized gateway for personal and enterprise model management.项目地址: https://gitcode.com/gh_mirrors/ne/new-api