企业官网建设流程全解析

把Hy4 Preview的权重拉进仓库，盯着“770B”这个数字的时候，我第一反应不是“牛”，而是“这下显存又不够用了”。好在它和最近这波MoE开源潮一样，总参数是770B，真正跑起来并没有想象中那么吓人。配合这次同步杀到的WorkBuddy限时两周免费用，等于一个能编排任务、能调模型、能写插件的Agent工作台摆在你面前，只问你要不要赶在免费期结束前把它搞清楚。

这篇不是官方通稿，我尽量把发布信息翻译成能直接落地的东西：Hy4 Preview这个MoE架构到底强在哪、部署它需要准备多少卡、WorkBuddy免费用的是什么、怎么在两天内把模型和WorkBuddy串起来跑通一个真实任务，以及我实际踩过的一堆坑。适合手里有卡、或者有项目想蹭一下这波开源的开发者看，也适合刚开始搞大模型应用、想找个现成Agent框架入手的同学。

1. 当770B模型真的开源时，最该先看什么

1.1 这不是又一个“千亿参数”的堆料

过去两年开源大模型经历了一个怪循环：谁的参数多，谁的热度就高。但真上过手的人都知道，参数大到一定程度，边际收益就开始下滑，而部署成本却直线上升。所以这次Hy4 Preview出来，我最关心的反而不是总数，而是它选择的稀疏架构怎么让“770B”这个数字变得可用。

Hy4 Preview走的是MoE路线，全称是Mixture of Experts，混合专家。我的理解是：它把模型内部拆成很多个“专家子网络”，每次来一个token，不会把所有专家都唤醒，而是靠一个路由器挑出最擅长处理这类任务的几个专家来干活。这样总参数看起来很大，实际参与计算的参数却少很多，推理速度和显存压力都降下来了。

这带来一个很实际的好处：你可以拿它做很粗的任务覆盖，模型的知识面够广，但每次回答又不会把所有知识都翻一遍。网上有人拿它和另外几个MoE模型做过粗略对比，Hy4在数学推理和工具调用这两项上给我留下的印象比较深，参数规模大带来的广度在那里摆着，稀疏激活又把延迟压到了可接受范围。

1.2 先搞清楚MoE的“账面数字”和“实际成本”

很多人第一次接触MoE会被两个数字绕晕：总参数量和激活参数量。对Hy4 Preview来说，总参数是770B，但这不是你每次推理都要完整跑一遍的规模。官方没有直接给出详细的激活参数量，但从它公布的专家数量和路由策略来估算，单token激活参数大概率落在几十B这个区间，具体看版本配置。

这个区别很重要，因为它决定了两件事：第一，模型的知识容量由总参数决定，770B意味着它的记忆体量和覆盖面可以做得很大；第二，每次生成的速度和需要占用的算力由激活参数量决定，几十B的激活规模让推理端还能接受，不需要上千张卡集群才能跑起来。

我建议你用这套框架去理解它，而不要只看标题里的770B：总参数代表“这个模型知道多少”，激活参数代表“每次回答要花多少钱”。开源社区真正需要的是后一个数字能被普通团队扛下来，而不是又一个只能挂在展示页上的巨型指标。

2. Hy4 Preview的MoE架构拆解：路由、专家与稀疏性

2.1 从MoE的Top-K路由说起

MoE架构听上去高级，核心机制其实可以用一个日常场面比喻：一间公司有几十个部门，每个请求进来后，前台先看一眼需求，然后只叫两三个最对口的部门来处理，而不是让全公司的人都放下手里的活来帮忙。

Hy4 Preview的路由器和这个“前台”是同一个逻辑。每一层Transformer里都挂着好多专家，路由器会对当前token做一个打分，选出排名靠前的K个专家来执行计算，通常就是Top-2或Top-3，然后再把结果加权拼接。这个路由选择不是拍脑袋决定的，它是在训练过程中跟着主任务一起学出来的，所以不同专业领域的问题会逐渐被路由到不同专家上。

这次开源版本比较值得关注的是它把路由权重也开放出来了，你在推理时可以直接拿到每个token到底激活了哪些专家，以及各自的权重分布。这对做可解释性研究的人很有用，也对优化下游任务有启发。比如你想让某个技能更稳定，可以根据路由权重调整Prompt，把输入尽量引导到那几个得分高的专家上。

2.2 770B总参数是怎么“省”出来的

先算一笔账：如果这是一般的稠密模型，770B参数在BF16精度下光权重就要占到1.54TB显存，单卡80GB的GPU至少需要20张，普通团队想都别想。MoE的聪明之处在于，它没用“省参数”的办法，而是用“分区”的办法：每个专家只负责一部分知识，推理时整体只加载一次全部权重，但计算时只对少数专家做实际矩阵乘法。

这里要区分两个概念：显存和算力。显存方面，MoE模型一般还是要把全部专家权重放进显存，因为路由器可能会随机访问任何一个专家，你不能把一部分专家放到硬盘上等着现取，那样延迟会爆。所以770B的权重依然很占显存，只是比同规模的稠密模型在训练阶段效率更高、推理时的单token算力需求更低。

算力方面，MoE的优势就很明显了。每次生成只激活数十B的专家参数，相比稠密模型每个token都要过一遍所有参数，运算量直接少了一个量级。这也是MoE能在开源圈子里流行的根本原因：模型更聪明，单位成本却没跟着翻倍。

2.3 长上下文与MoE的组合注意点

MoE和长上下文放在一起，会有一个容易被忽略的副作用。上下文越长，注意力计算的时间越长，而MoE部分的专家路由又增加了一层额外的计算。Hy4 Preview这次支持的长上下文窗口宣传得很乐观，但我在实测中发现，直接拉满并不可靠，后面会专门讲这个坑。

现在先记住一个原则：MoE在短文本、多并发场景下收益最明显，因为稀疏激活带来的加速能被并发请求摊薄；而在单条超长文本场景下，注意力部分会逐渐成为瓶颈，MoE的优势反而没那么突出。所以如果你要在WorkBuddy里跑长文档任务，最好先把文本切片，不要一股脑全塞进去，这个习惯能省下大量排队时间。

3. 部署前先算清楚硬件账：量化方式与显存预算

3.1 三种加载方式的显存估算

我不想劝退任何人，但Hy4 Preview这种规模的模型，直接裸奔跑BF16版本不是所有团队都扛得住的。我把常见加载方式的显存需求整理成一张表，方便你对照自己手头的卡来做判断。

注意这只是权重部分的估算，还没算KV Cache和激活值。真跑起来还要再乘一个1.1到1.2的系数，尤其是并发高、上下文长的时候，超额会更多。我的建议是：如果只有4卡，别硬上全量，老老实实走API或者用GGUF小步试跑。

3.2 用vLLM拉起Hy4 Preview的最小配置

如果你手头有5到8张80GB卡，建议直接用AWQ或GPTQ量化版，然后用vLLM做服务化部署。vLLM对MoE的支持已经比较成熟，SGLang也可以，但我个人更常碰到的社区方案还是vLLM，排错资料多。

一个能直接用的启动命令大概是这样的：

vllm serve /models/hy4-preview-awq \ --served-model-name hy4-preview \ --quantization awq \ --dtype half \ --tensor-parallel-size 8 \ --max-model-len 32768 \ --gpu-memory-utilization 0.92 \ --enable-prefix-caching

几个关键参数我解释一下：tensor-parallel-size要和你实际拿到的卡数一致，8卡就是8；max-model-len先压到32768，后面我会讲为什么不要一上来就挑战128K；enable-prefix-caching在多轮对话和Agent场景下能显著提速，强烈建议打开。

启动之后用OpenAI兼容接口测试一下：

curl http://127.0.0.1:8000/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "hy4-preview", "messages": [{"role": "user", "content": "用Python写一个快速排序，并解释时间复杂度"}], "temperature": 0.3 }'

能正常返回就算部署成功了。如果返回401或者model not found，多半是配置里没有把served-model-name对上，或者vLLM版本太旧，先升级再排查。

4. WorkBuddy限时免费用：它到底免的是什么

4.1 WorkBuddy解决的问题：Agent工作流编排

Hy4 Preview发布的同时，WorkBuddy给了两周免费使用额度，这个组合拳打得挺聪明。模型本身是发动机，WorkBuddy才是那个把发动机装上车、给你方向盘的人。

WorkBuddy本质是一个Agent工作流编排平台，它可以连接各种模型后端，把一次复杂的任务拆成多步：先规划、再调用工具、然后看结果继续推理，最后产出完整答案。和裸调模型最大的区别在于，裸调模型记住的是你上一句话，WorkBuddy记住的是整个过程的目标和中间状态。

我举个例子。你想让Hy4 Preview做一个“把一张建筑平面图转换成简单3D体块模型”的任务。直接问模型，它只会给你一段建议。但在WorkBuddy里，你可以定义一条链路：先调用视觉模型做平面图关键区域识别，再让Hy4把识别结果转成结构化的三维坐标清单，最后把清单喂给建模脚本生成初始体块。每步的输出都是下一步的输入，整个过程可回放、可调试。

4.2 免费期怎么申请、额度怎么用最值

这个过程不算复杂，到WorkBuddy对应页面注册账号，选试用入口，绑一个已经部署好的模型后端就能激活。如果你暂时不想部署本地模型，WorkBuddy的托管环境也提供了一组默认模型额度，两周内够你做功能验证。

既然是限时免费，我最推荐的做法是把它当成“压测期”而不是“体验期”。注册成功后先跑三件事：第一，把你们现有的一个真实业务场景完整搭到WorkBuddy里，别拿hello world凑数；第二，把需要反复试错的任务批量跑一遍，找到设置上的瓶颈；第三，把团队的API调用习惯和权限模型梳理好，免费期结束再评估要不要长期付费。

很多人的误区是免费期只用来“玩一玩”，结果两周结束什么都没沉淀。真正有效的用法是把它当作一次内部黑客松，逼自己在时间预算内交付一个能自动运行的工作流，这样即使之后不续费，你已经掌握了全套方法，随时可以迁移。

4.3 哪些人会先受益

从我接触的社区反馈来看，三类人对WorkBuddy的免费期最敏感。一类是独立开发者，想快速验证“大模型+工具调用”能不能做出一个MVP，免费期刚好覆盖从想法到demo的周期；一类是中小团队，缺乏专职的提示词工程师或Agent研发岗位，需要一个低门槛的平台来把模型能力包装成内部工具；还有一类是做课程和教程的人，可以直接把WorkBuddy作为教学环境，省去学员自己搭卡的环境成本。

如果你属于这三类，我建议把免费期当成第一优先级来安排，不要拖到最后几天才开始摸功能。

5. 从零接Hy4 Preview到WorkBuddy：本地化配置全过程

5.1 部署WorkBuddy本体

WorkBuddy的本地版做得很轻量，我个人理解它是一个Python服务加命令行工具的组合，底层负责和模型后端通信，上层提供Web界面和API。它的部署方式和绝大多数现代开源应用一样，先把代码拉到本地，装好依赖，再写配置文件。

如果你在Linux服务器上操作，流程大概是：

git clone https://github.com/your-org/workbuddy.git cd workbuddy python -m venv .venv source .venv/bin/activate pip install -r requirements.txt cp config.example.yaml config.yaml workbuddy serve --config config.yaml

这里的config.yaml是核心。默认配置会起一个本地服务，端口一般在8080，Web界面直接访问就能看到。装依赖的时候如果网络比较慢，可以先在requirements.txt同级目录下把pip默认源改成国内常用镜像，速度会快不少，这一招在整机环境比较受限的服务器上特别管用。

5.2 在config里绑定Hy4 Preview

WorkBuddy本身不包含模型，它需要连接一个模型后端。刚才我们用vLLM起的Hy4 Preview服务就是一个标准后端，WorkBuddy通过OpenAI兼容接口去连它就行。

在config.yaml里加一段模型供应商配置：

model_providers: - name: hy4-local type: openai_compatible base_url: http://127.0.0.1:8000/v1 api_key: none models: - hy4-preview

配置完成后重启WorkBuddy，在模型列表里就能选到hy4-preview。这里最容易出的问题有两个：一是base_url写成了http://127.0.0.1:8000而漏了/v1，会导致404；二是api_key不为空时vLLM默认没开鉴权，填了反而可能握手失败，建议先设成none。

5.3 自定义Skill：让模型学会2D转3D这类多步任务

WorkBuddy里最值得投入时间研究的是Skill机制，官方文档也叫自定义指令或插件。它的思路是把一个复杂任务的执行步骤固化下来，之后每次执行同类任务，模型都会按这个链路走，而不是每次从头临场发挥。

创建一个Skill大概是这样：

workbuddy skill new --name text_to_3d_pipeline

创建之后会在Skill目录下生成一个描述文件和一段预设Prompt模板。你在描述文件里写清适用场景和输入格式，在Prompt模板里写清执行步骤。以建筑领域为例，我给一个简化的2D转3D流程：

角色：你是一个建筑设计师助理。 输入：一张建筑平面图识别结果。 步骤： 1. 提取图中的墙体、门窗、楼梯等关键元素。 2. 转换成结构化坐标数据，输出JSON。 3. 将JSON映射到简单体块建模脚本所需参数。 4. 输出建模脚本和操作说明。 约束：坐标保留两位小数，单位统一为毫米。

保存后，在WorkBuddy对话里指定这个Skill，再传入平面图描述，它就会自动走完整条链路。这个机制的强大之处在于，你可以把日常工作中那些“我知道怎么做但懒得每次重复解释”的流程全部沉淀成Skill，慢慢搭出属于自己的技能库。

6. 我踩过的坑：路由抖动、显存OOM与上下文截断

6.1 显存估算和实际占用对不上

我最开始按理论值算了显存，觉得8张卡跑INT4量化绰绰有余，结果一上线就OOM。原因有二：第一，KV Cache按默认参数预留了很大空间，而我实际用不了那么长的上下文；第二，MoE模型在并发请求时，多个专家会同时被加载和计算，激活峰值比稠密模型更容易顶到天花板。

解决思路很简单：把max-model-len降下来，把gpu-memory-utilization调高到0.9以上，同时限制最大并发数。默认配置往往是给通用场景准备的，你要根据自己任务的真实长度重新调参，别嫌麻烦。

6.2 不同推理框架返回的结果千差万别

同一个Hy4权重，我先后在vLLM和另一个推理框架上跑过，结果在同一组Prompt下差异很明显，尤其是在需要格式化输出的场景里。排查了一圈发现不是模型的问题，而是两个框架对采样参数的处理细节不一样，比如有的框架默认做EOS截断处理，有的则会把特殊token也暴露给业务层。

所以跨框架对比效果时，不要轻易下“模型变笨了”的结论。先把温度、top_p、repetition_penalty这些参数统一，再看输出结构差异。如果你用WorkBuddy接的是远程API，本地又起了vLLM，两边的采样参数也要尽量保持一致，否则同样的Skill在两个环境里返回结果可能完全对不上。

6.3 长上下文的衰减比想象中更早

Hy4 Preview宣传的上下文窗口很长，但实际生成质量会随着输入长度增加而明显下降，尤其是中间段落的事实细节容易被忽略。这不是Hy4独有的问题，所有长上下文模型都有，只是MoE架构会在专家路由和长注意力叠加后让这个现象更明显。

我的建议是：业务场景里把有效长度控制在32K到64K之间，超过的部分用检索或者摘要做压缩。WorkBuddy里可以预先挂一个文本切片节点，把长文档拆成多个分片，再把检索结果拼接为精简上下文。这样得到的答案质量，比硬塞一个超长上下文更稳定。

6.4 WorkBuddy远程调用超时问题

如果你验证期间用的是WorkBuddy托管API，而不是本地vLLM，可能会遇到远程任务超时。尤其是那些需要多步工具调用的复杂Skill，单次会话可能需要跑好几分钟，默认超时时间往往不够。

遇到这种情况，去WorkBuddy配置里调高HTTP会话超时时间，或者把大任务拆成几个小任务跑，让中间结果落盘，然后用一个聚合节点汇总。后者更稳妥，因为长时间占用一个远程连接，本身就是不稳定因素。

7. 适合拿来即用的落地场景（附实测结果）

7.1 代码生成场景：直接提升开发辅助工具的质量

我拿Hy4 Preview在WorkBuddy里搭了一个“代码生成+静态检查”的Skill。流程是：需求描述进模型，生成代码后自动接一个代码执行沙箱，跑完单元测试再把结果返回给模型做修复。实测下来，在小项目脚手架生成和Python脚本编写上，它的代码风格比我预期干净，错误修复的迭代次数明显少于上一代模型。

这对团队的价值是，你不需要把模型生硬地接进IDE，而是可以在WorkBuddy里定义一套完整的研发辅助工作流，让模型和已有测试工具链结合起来。模型生成的代码不再是一锤子买卖，而是可以自动验证、自动反馈的闭环。

7.2 2D转3D和建筑行业辅助流程

Hot search词里“2D转3D”被反复提及，说明很多人关心的不只是纯文本模型，而是模型怎么和三维流程连起来。Hy4 Preview本身不是专门的视觉生成模型，但它能做信息提取和参数编排，真正干活的是视觉模型和建模工具。

我的做法是让Hy4担任“总指挥”：它读取2D图纸里的结构信息，整理成结构化数据，再调用深度估计模块和网格生成模块，最后输出一个简单体块模型。这个流程速度不算快，但胜在可以完全自动化，而且中间的每一步都可以人工介入修正。建筑行业的材料清单提取、施工说明摘要、设计规范对照，这些更接近纯文本的环节反而更成熟，适合先落地。

7.3 从WorkBuddy Skill生态延伸出去的玩法

两周免费期虽然短，但Skill机制让时间投入的“复利效应”变得明显。每沉淀一个Skill，下次用就是一句话的事情。我身边已经有人在尝试把分子结构描述转成结构化片段，方便做后续检索，这就是把MoE模型的领域理解能力和外部数据库串联起来的典型玩法。

还有人在做WorkBuddy插件生态，比如让模型自动操作日常办公软件、把会议录音转成结构化任务清单。坦白讲，这些在技术原理上都不新鲜，难的是有一层中间件能把模型和业务系统安全地连起来，WorkBuddy把它包装成了可配置、可复用、可分享的东西。

最后说一点个人体会：不要被“770B”这种数字吓到，也不要被“限时免费”推着走。先把模型跑通，再搭一个最小的WorkBuddy工作流，然后疯狂往里塞真实任务。开源模型和工具链的价值不在于发布会那一刻的峰值热度，而在于你拉着它跑业务时能不能少点磕磕绊绊。Hy4 Preview和WorkBuddy的组合，至少把门槛又往下拉了一截，剩下的就看你怎么把时间花在那些值得自动化的流程上。