企业官网建设流程全解析

NeoHorse-1-4B 长上下文实战：262K 原生、可扩展 1M 的推理参数配置避坑指南

【免费下载链接】NeoHorse-1-4B项目地址: https://ai.gitcode.com/hf_mirrors/TokenRhythm/NeoHorse-1-4B

NeoHorse-1-4B 是 TokenRhythm 基于 Qwen3.5-4B 后训练的 4B 参数长上下文推理模型，原生支持 262,144（约 262K）token 上下文窗口，官方标注最长可扩展至约 1,010,000 token。它采用混合线性注意力架构与 BF16 权重格式，专为智能体任务、工具调用和长文本推理设计。本文将从部署参数出发，带你一次配齐长上下文推理，并附上高频踩坑清单。

NeoHorse-1-4B 是什么：为什么它能"装下"262K 上下文

NeoHorse-1-4B 不是普通的 4B 小模型，而是一个"Agent-Native 因果语言模型"：它由 TokenRhythm 通过路由引导的智能体后训练（routing-guided agentic post-training）改造而来，在十个基准上的宏平均得分 64.87，比基座 Qwen3.5-4B 的 58.94 高出+5.93（详见 README.md 中的评测表）。

长上下文能力的底气来自 config.json 里的两处设计：

简单说：全注意力层稀疏化 + 大 rope 基频 + GQA，让它在 4B 规模上就能扛住 262K 原生上下文，并具备向 1M 扩展的架构条件。

⚠️ 注意：本次发布为纯文本模型（语言模型权重重新打包），不包含视觉权重。发送图片请求会导致模板报错（chat_template.jinja 中明确抛出异常），请只走文本输入输出。

SGLang 启动 NeoHorse-1-4B：长上下文参数一次配齐

技术报告使用 SGLang v0.5.17，推荐启动命令如下：

pip install "sglang==0.5.17" MODEL_PATH="/path/to/NeoHorse-1-4B" python3 -m sglang.launch_server \ --model-path "$MODEL_PATH" \ --served-model-name neohorse-1-4b \ --host 0.0.0.0 \ --port 30000 \ --context-length 262144 \ --reasoning-parser qwen3 \ --tool-call-parser qwen3_coder

三个参数的含义，缺一不可：

• --context-length 262144：与 config.json 的max_position_embeddings严格对齐。这是长上下文推理的第一参数，设小了会被静默截断，设得远超原生值则未经官方验证。
• --reasoning-parser qwen3：模型开启思考模式（enable_thinking），需要推理解析器把<think>...</think>内容从正式回复中拆出来，否则前端会拿到"混在一起"的输出。
• --tool-call-parser qwen3_coder：配合智能体后训练，让工具调用以结构化格式返回，而不是纯文本。

服务启动后，通过 OpenAI 兼容接口发请求即可（注意model字段填--served-model-name指定的neohorse-1-4b，不是文件路径）：

curl http://localhost:30000/v1/chat/completions \ -H 'Content-Type: application/json' \ -d '{"model":"neohorse-1-4b","messages":[{"role":"user","content":"你好，请介绍你的上下文长度"}],"max_tokens":512}'

vLLM 部署 NeoHorse-1-4B：--max-model-len写法

如果你更习惯 vLLM，参数对应关系如下：

pip install -U vllm MODEL_PATH="/path/to/NeoHorse-1-4B" vllm serve "$MODEL_PATH" \ --served-model-name neohorse-1-4b \ --host 0.0.0.0 \ --port 8000 \ --max-model-len 262144 \ --reasoning-parser qwen3 \ --enable-auto-tool-choice \ --tool-call-parser qwen3_coder

要点：

1. --max-model-len 262144对应 SGLang 的--context-length，vLLM 用户最常漏的就是这个参数——不显式设置时可能回落到框架默认值（往往只有 32K～8K），长文档直接报错或截断。
2. 工具调用需要成对配置--enable-auto-tool-choice+--tool-call-parser qwen3_coder，只配一半会导致工具调用不生效。
3. 默认端口 8000，与 SGLang 的 30000 区分开，避免多框架共存时请求串端口。

长上下文 6 大高频踩坑清单

官方采样参数：一键复现报告协议

想要复现 README.md 中的评测成绩（SGLang v0.5.17、思考模式开启），采样参数照抄即可：

temperature=1.0, top_p=0.95, top_k=20, min_p=0.0, presence_penalty=1.5, repetition_penalty=1.0, enable_thinking=true, force_nonempty_content=true

注意presence_penalty=1.5这个偏高的取值——长上下文推理中它能有效抑制长回复里的重复循环，是复现成绩时容易被忽略的一项。

模型文件清单与许可

小结

• NeoHorse-1-4B 用混合线性注意力 + 大 rope 基频 + GQA实现 4B 规模的 262K 原生上下文，架构上预留至 1M 的扩展空间。
• 部署时三件套：上下文长度对齐 262144、推理解析器qwen3、工具解析器qwen3_coder。
• 长上下文 = 长记忆 + 长工具链，把它接入智能体框架时，记得为max_tokens预留输出余量。

配置一次到位，长上下文推理从此不踩坑 🐴

【免费下载链接】NeoHorse-1-4B项目地址: https://ai.gitcode.com/hf_mirrors/TokenRhythm/NeoHorse-1-4B