企业官网建设流程全解析

1. 为什么我要做这场国产大模型高考横评

2024年高考刚结束那阵子，我朋友圈里做教育的、做算法的、做投资的朋友几乎同时在转同一个话题：国产大模型做高考数学卷子到底行不行。有人说已经接近满分，有人说连题目都读不懂，还有人说“做对了但过程全是错的”。作为一个从2021年就开始折腾大模型落地教育场景的人，我太清楚这种争论的尿性了——大家测的根本不是同一套东西，有人测的是选择题，有人测的是填空题，有人把题目拍照OCR之后直接喂给模型，有人老老实实手打题干。评测口径不统一，结论自然天差地别。

所以我决定自己动手做一场相对严谨的横评。目标很明确：用同一套高考数学题、同一套评分标准、同一套交互方式，把市面上主流的国产大模型拉出来遛一遍，同时把GPT-4o作为参照系放进去。重点不是看谁分数高，而是看谁在数学推理链条上真正站得住，谁在教育落地场景里能直接拿来用。说白了，我要回答的不是“哪个模型最强”，而是“如果我要做一个高考数学辅导产品，我该选谁、怎么用、坑在哪”。

这场横评前后折腾了将近三周，中间踩了不少坑，也推翻过自己最初的评测方案。下面我把整个思路、方法、数据和我个人的判断完整摊开讲，不管你是做教育产品的、做模型评测的，还是单纯想给孩子找个靠谱的数学答疑工具，应该都能从里面捞到点有用的东西。

2. 评测方案的整体设计与选型逻辑

2.1 为什么选高考数学作为评测基准

市面上的大模型评测榜单已经多如牛毛，MMLU、C-Eval、GSM8K这些我都跑过。但说实话，这些学术基准和真实教育场景之间隔着一道巨大的鸿沟。GSM8K里的题目是“小明有5个苹果，给了小红2个，又买了3个，问现在有几个”，这种题对现在的模型来说基本是送分题，区分度早就没了。而高考数学不一样，它同时考察几个维度的能力：多步逻辑推理、符号运算、空间想象、以及最要命的——在长题干中准确提取约束条件。

我选高考数学还有一层现实考虑。高考数学是极少数“题目公开、答案公开、评分标准相对透明”的高难度考试。2024年全国卷和新高考卷的题目网上都能找到，标准答案也有，这就意味着我可以做过程性评分，而不是只看最终答案对不对。这一点非常关键，因为教育场景里，学生要的不是一个答案，而是解题过程。一个模型如果答案对了但过程是蒙的，在教育产品里就是灾难。

另外，高考数学的难度梯度设计得很好。选择题前几道是基础题，后面有大题、压轴题，能有效区分模型的能力层级。我最终选了2024年新高考I卷和II卷的数学卷作为主测试集，另外补充了2023年全国甲卷和乙卷的部分题目作为交叉验证。总共涉及约60道题，覆盖选择、填空、解答三种题型。

2.2 参评模型的选择与理由

这次横评我一共选了6个模型，具体如下：

这里我要说明一下为什么没有把所有国产模型都放进来。一是时间和成本限制，每个模型跑60道题，如果加上多次采样和过程验证，token消耗不是小数目。二是有些模型定位重叠严重，测多了边际信息量很低。我选的这6个基本覆盖了“头部闭源、中端性价比、开源本地化、推理特化”四个象限，对做选型决策的人来说足够有参考价值。

关于模型的具体名称，我在正文里用代号表示，原因后面会讲。但可以透露的是，模型A和模型B就是目前国内教育硬件和App里出现频率最高的那两个。

2.3 评测维度的设计：不只看答案对错

这是整个方案里我花心思最多的地方。如果只看最终答案，那评测就退化成了一道判断题，信息量极低。我最终设计了四个维度的评分：

第一，最终答案正确率。这个最直观，但权重我只给了30%。因为高考数学里选择题可以蒙，填空题可以猜，只看答案会严重高估模型能力。

第二，推理过程质量。权重40%，这是核心。我让每个模型在解答时输出完整步骤，然后由我和另外两位有高中数学教学经验的朋友一起人工评分。评分标准分三档：逻辑完整且步骤规范（满分）、逻辑基本正确但有跳步或表述模糊（半分）、逻辑断裂或关键步骤错误（零分）。

第三，格式与可读性。权重15%。教育场景里，模型输出的解题过程是要直接展示给学生的。如果公式排版混乱、步骤编号不清、关键结论不突出，那实际可用性就大打折扣。这一项我主要看LaTeX渲染是否规范、步骤分层是否清晰、有没有把关键公式单独成行。

第四，抗干扰与稳定性。权重15%。具体做法是：同一道题用三种不同的提问方式各问一遍（直接问题干、加一句“请逐步推理”、把题干里的数字换成字母再问），看模型答案是否一致。这一项测的是模型在真实产品环境里的鲁棒性——毕竟学生提问的方式千奇百怪，不可能每次都像考试题干那样规整。

提示：这四个维度的权重分配是我根据教育产品的实际需求定的。如果你做的是纯解题工具，答案正确率权重可以调高；如果你做的是教学过程展示，过程质量权重应该更高。权重没有标准答案，关键是想清楚你的产品到底要什么。

2.4 测试环境与交互方式的统一

为了保证公平，所有模型都在同一套环境下测试：

• 温度参数统一设为0.2（低温度保证输出稳定，减少随机性）
• 最大输出长度统一设为4096 tokens（防止有些模型因为输出截断而丢分）
• 提问模板统一为：“请解答以下高考数学题，要求写出完整解题步骤，最后给出最终答案。题目：{题干}”
• 所有题目由我手动输入，不使用OCR，避免识别错误干扰评测
• 每道题每个模型跑3次，取最好成绩和平均成绩分别记录

这里有个细节值得展开说。我一开始想用OCR自动识别题目，效率高嘛。但实测下来，高考数学题里大量使用分式、根号、上下标、希腊字母，OCR识别错误率比我预想的高得多。一道题里错一个符号，整个评测就废了。所以我最后老老实实手动输入了全部60道题，花了整整一个下午。这个时间花得值，因为后面所有结论的可信度都建立在这个基础上。

3. 核心细节解析：数学推理能力的真实差距在哪

3.1 选择题与填空题：差距比想象中小

先说出乎我意料的结论：在选择题和填空题上，国产头部模型和GPT-4o的差距已经非常小了。2024新高考I卷的选择题部分（共8道单选、4道多选），模型A和模型B的正确率都在90%以上，GPT-4o是100%。模型C和模型D稍弱，在75%到85%之间。模型E表现不错，接近头部水平。

但这里有个陷阱。选择题正确率高，不代表推理能力强。我逐题看了模型的输出过程，发现一个普遍现象：很多模型在选择题上用的是“排除法+代入验证”，而不是真正的数学推导。比如一道函数单调性的题，模型会把四个选项分别代入函数验证，而不是去求导分析单调性。这种方法在选择题上能拿分，但到了解答题就完全失效。

填空题的情况类似。基础题（比如集合运算、复数计算）大家都能做对，但涉及到需要多步推导的填空题，比如数列求和或者解析几何的离心率计算，差距就拉开了。模型D在一道需要构造辅助数列的填空题上，三次尝试全部失败，而且失败方式很典型——它试图直接套用等比数列求和公式，但没有识别出题目中的递推关系需要先做变换。

3.2 解答题：推理链条的断裂点在哪里

解答题才是真正的分水岭。我重点分析了几道有代表性的题目，下面逐一拆解。

第一道是导数大题，考察函数极值与不等式证明。这道题分两问，第一问求参数范围，第二问证明一个不等式。GPT-4o两问都完整做出来了，过程规范。模型A和模型B第一问做对了，第二问的证明思路正确但中间有一个关键放缩步骤跳过了，导致逻辑链不完整。模型C第一问就卡住了，它把导数求错了——具体来说，它在对含参对数函数求导时，忘记了对内层函数求导，这是典型的链式法则遗漏。模型D和模型E在第一问给出了正确答案，但第二问的证明过程出现了“循环论证”，用结论去证明结论。

第二道是解析几何大题，涉及椭圆与直线的位置关系。这道题的计算量很大，需要联立方程、消元、判别式、韦达定理一套流程走下来。GPT-4o和模型A都做对了，但模型A的中间步骤有大量计算跳跃，如果学生照着看会跟不上。模型B在这道题上犯了计算错误，它在消元过程中把一次项系数弄丢了，导致后面全错。模型C和模型D都没能完整做完，模型C是联立方程后不知道下一步该干什么，模型D是计算到一半token用完了——这暴露了输出长度限制对复杂题目的影响。

第三道是概率统计大题，结合了实际应用背景。这道题本身难度不大，但题干很长，有将近300字，里面埋了好几个约束条件。模型E在这道题上表现最好，它准确提取了所有条件。模型B反而翻车了，它漏掉了“不放回抽取”这个关键条件，按有放回的方式计算了概率。这个错误很有代表性——模型在长题干中提取约束条件的能力，和它的数学运算能力是两回事。运算能力再强，条件读漏了也是白搭。

3.3 过程质量评分的详细数据

我把过程质量评分单独拉出来说，因为这是最能反映“教育落地能力”的指标。评分由我和两位高中数学老师独立打分后取平均，满分10分。

从数据能看出几个关键点。第一，所有模型的过程分都低于答案正确率对应的水平，说明“做对”和“讲清楚”之间有明显落差。第二，解答题的过程分普遍比选择题低1到2分，因为解答题步骤多，任何一步表述不清都会扣分。第三，模型A和模型B在过程质量上并没有拉开明显差距，但和GPT-4o的差距在解答题上比较明显，主要差在步骤的规范性和完整性上。

我印象最深的是模型C的一道解答题输出。它给出了正确答案，但整个过程只有三行：第一行写“由题意得”，第二行写“计算得”，第三行写“所以答案是X”。中间所有推导全部省略。这种输出如果直接给学生看，除了制造焦虑没有任何价值。这也是为什么我坚持过程质量要占40%权重——在教育场景里，一个只会给答案的模型，和一个会讲题的模型，完全是两个物种。

3.4 格式与可读性：被低估的落地门槛

格式这一项我原本以为大家差距不大，实测下来发现想错了。GPT-4o和模型A的LaTeX输出基本规范，公式该用行间公式的用行间公式，该用行内公式的用行内公式，步骤编号也清晰。模型B偶尔会把该独立成行的公式塞在段落里，阅读体验下降。模型C和模型D的格式问题比较严重，经常出现LaTeX语法错误，比如括号不匹配、上下标位置错误，导致前端渲染出来是一堆乱码。

这个问题在实际产品里是致命的。你想想，一个学生用你的App问题，结果屏幕上显示的是“\frac{1}{2}x^2”这样的原始代码，他还会用第二次吗？格式问题看起来是小事，但它是教育产品用户体验的第一道门槛。我在评测过程中专门记录了一个“格式错误率”指标，模型C的格式错误率高达23%，意味着每四道题就有一道题的输出需要人工修复才能展示。

注意：如果你打算把模型输出直接展示给用户，一定要在前端加一层LaTeX校验和修复逻辑。我试过用正则表达式做基础校验，能拦住大部分括号不匹配的问题，但更复杂的语法错误还是需要专门的解析器。这个工作量不小，但省不得。

4. 实操过程：我是怎么跑完这60道题的

4.1 题目准备与标准化处理

前面说了，所有题目手动输入。但手动输入也有讲究。我建了一个JSON文件，每道题包含以下字段：题目编号、题型、所属卷别、题干原文、标准答案、评分要点、难度等级。题干原文我用的是纯文本加LaTeX混合格式，比如“已知函数 $f(x)=x^2+2x+1$，求 $f(x)$ 的最小值”。这样做的目的是保证喂给模型的输入格式完全一致。

难度等级我分了四档：基础（送分题）、中等（常规题）、较难（需要多步推理）、极难（压轴题）。这个分级在后面分析模型能力分布时很有用。比如模型D在基础题上正确率有85%，但到了极难题直接掉到20%以下，说明它的能力天花板比较明显。

4.2 API调用的参数配置与踩坑记录

调用各家API的过程基本顺利，但有几个坑值得记录。

第一个坑是超时设置。高考解答题的计算量大，模型输出长，有些API默认超时时间只有30秒，导致请求被截断。我后来统一把超时设到120秒，问题解决。如果你做的是实时交互产品，这个超时时间需要和用户体验做平衡——等两分钟才出答案，学生早跑了。所以实际产品里可能需要做流式输出，让用户看到模型在“思考”。

第二个坑是并发限制。我一开始想并行跑所有模型的所有题目，结果触发了某家API的速率限制，请求被拒。后来改成串行加队列，每个模型跑完再跑下一个，虽然慢但稳定。如果你要复现这个评测，建议用队列控制并发数，别贪快。

第三个坑是token计费。解答题输出长，token消耗比我想象的大。60道题跑下来，加上三次采样，总token消耗量相当可观。如果你预算有限，可以减少采样次数，或者只跑解答题部分。

4.3 人工评分流程与一致性保障

过程质量评分是人工做的，这就涉及评分一致性问题。我的做法是：先和两位老师一起试评10道题，统一评分标准，对分歧较大的题目讨论达成共识。然后正式评分时，每道题三个人独立打分，如果某道题三人分差超过2分，就重新讨论。最终取平均分。

这个流程听起来繁琐，但保证了评分的可信度。我见过一些评测文章，过程评分只有一个人打，主观性太强。教育场景的评测，评分标准必须经得起推敲，否则结论没有说服力。

4.4 数据记录与结果汇总

所有原始数据我都记录在表格里，包括每个模型每道题的：最终答案、是否正确、过程评分、格式评分、三次采样的一致性情况、token消耗量、响应时间。这些数据后面做交叉分析时很有用。比如我发现响应时间和正确率之间没有明显相关性——模型B响应最快，但正确率不是最高；模型D响应最慢，正确率也不是最低。这说明速度和质量在这个任务上不是简单的取舍关系，更多取决于模型架构和推理策略。

5. 常见问题与排查技巧实录

5.1 模型“假装做对了”怎么识别

这是我在评测中遇到的最隐蔽的问题。有些模型会给出正确答案，但推理过程是错的，或者干脆是事后编的。比如一道数列题，模型先写“由题意可知该数列为等差数列”，然后直接套公式算出答案。但实际上题目并没有说它是等差数列，模型是看到答案之后反推了一个“合理”的过程。

识别这种问题的方法是：把题目中的某个条件改掉，看模型的过程是否相应改变。如果改了条件之后，模型的过程还是老一套，说明它根本没有在做真正的推理。我用这个方法筛出了好几道“假对”的题，在最终统计时把这些题的正确率标记为无效。

5.2 公式渲染错误的快速排查

如果你在做产品，公式渲染错误是高频问题。我的排查顺序是：先看原始输出里LaTeX语法是否完整，再看前端渲染引擎是否支持对应的语法，最后看是否有转义字符冲突。常见错误包括：下划线被Markdown解析成斜体、反斜杠被转义、花括号不匹配。解决办法是在输出和渲染之间加一层预处理，把可能冲突的字符做转义处理。

5.3 模型在长题干上“读漏条件”的应对

这个问题在概率统计题上特别明显。我的应对策略是在提问模板里加一句：“请先列出题目中的所有已知条件和约束，然后再开始解答。”实测下来，这句话能显著降低漏条件的概率。模型A加了这句话之后，长题干题目的正确率提升了大约15个百分点。这个技巧可以直接用到产品里——在prompt里强制模型做条件提取，相当于给它加了一个“审题”步骤。

5.4 不同提问方式导致答案不一致怎么办

这是鲁棒性测试暴露出来的问题。同一道题，直接问和加“请逐步推理”问，模型可能给出不同答案。我的处理方式是：在产品里固定一种提问模板，不要频繁更换。如果要做多轮对话，也要在系统提示里明确要求模型保持推理一致性。另外，低温度参数（0.1到0.3之间）能明显降低这种不一致性。

5.5 常见问题速查表

6. 教育落地能力的实战判断

6.1 从评测数据到产品选型的映射

评测做完之后，最重要的一步是把数据翻译成选型建议。我按不同的产品形态来给建议。

如果你做的是拍照搜题类工具，核心需求是快速给出答案，过程可以简略。那模型A和模型E是首选，它们的答案正确率高，响应速度也够快。模型B虽然数学能力宣传猛，但在我的测试里长题干漏条件的问题比较突出，搜题场景里题干往往很长，这个短板会被放大。

如果你做的是AI辅导老师类产品，需要展示完整解题过程，那过程质量权重就要拉高。GPT-4o当然最好，但成本和合规是现实问题。国产模型里模型A的过程质量最接近可用水平，模型E紧随其后。模型C和模型D的过程输出需要大量后处理，不建议直接展示。

如果你做的是私有化部署的教育硬件，只能用开源模型本地跑，那模型D是现实选择。但要做好心理预期：它的能力天花板明显，适合做基础题答疑，压轴题不要指望。而且本地部署对硬件有要求，量化版本虽然能跑，但精度损失会进一步拉低数学能力。

6.2 成本、延迟与合规的现实权衡

做教育产品的人都知道，模型选型从来不是单纯看能力。成本、延迟、合规三个因素往往比能力更重要。

成本方面，按我这次评测的token消耗量估算，如果做一个日活一万的答疑产品，头部模型的API成本每月在数万元级别。中小团队可能承受不起，那就需要在模型C这类性价比模型上做更多工程优化，比如缓存常见题目的解答、用规则引擎处理基础题、只把难题路由给大模型。

延迟方面，解答题的平均响应时间在8到15秒之间。这个延迟在文本交互场景里勉强可接受，但如果做语音交互就太慢了。我试过流式输出，首token时间能压到2秒以内，体验会好很多。建议做流式，让用户看到模型在逐步输出。

合规方面，教育产品面向未成年人，内容安全是红线。所有模型输出都需要过一层内容审核，确保没有不当表述。这个环节不能省，而且审核本身也会增加延迟和成本，选型时要算进去。

6.3 我踩过的三个落地坑

第一个坑是过度信任模型的数学能力。我早期做过一个内部工具，直接把模型输出展示给老师用。结果有一次模型在一道三角函数题上给出了错误答案，老师没检查就发给了学生。虽然最后及时纠正了，但这件事让我意识到：在当前阶段，模型输出必须有人工复核环节，尤其是解答题。完全自动化的数学答疑，风险太大。

第二个坑是忽视prompt的稳定性。我们产品迭代时改了一版prompt，结果同一道题的正确率掉了十几个百分点。后来排查发现是新prompt里少了一句“请写出完整步骤”，导致模型开始跳步，跳步就容易出错。prompt是产品的一部分，改prompt要像改代码一样做回归测试。

第三个坑是低估了格式处理的工程量。我原以为LaTeX渲染是前端的事，后来发现模型输出的LaTeX本身就不规范，前端再强也渲染不出来。最后我们专门做了一个后处理服务，用解析器校验和修复LaTeX，工作量比预想的大了三倍。如果你要做类似产品，这块一定要提前排期。

7. 一些不成熟但真实的个人判断

这场横评做完，我对国产大模型在教育场景的落地有了几个比较明确的判断。

第一，数学推理能力上，国产头部模型和GPT-4o的差距在缩小，但还没有到可以忽略的程度。选择题和基础题上差距很小，但到了压轴题和需要多步严格推理的题目，差距就出来了。这个差距不是靠堆数据能快速解决的，它涉及到模型的基础推理架构。

第二，教育落地的瓶颈不在模型能力，而在工程化。我评测过程中最大的感受是：模型给出的原始输出，离“可以直接给学生看”之间，还有大量的工程工作要做。格式修复、条件提取、过程校验、内容审核，这些环节加起来的工作量，可能比接入模型本身还大。谁把这些工程问题解决好了，谁的产品体验就好。

第三，不要指望一个模型解决所有问题。我的建议是分层路由：基础题用规则引擎或小模型，中等题用性价比模型，难题才路由给头部模型。这样既能控制成本，又能保证体验。我试过这种架构，在保证正确率的前提下，成本能降低一半以上。

最后说一个我在评测中印象很深的细节。有一道解析几何题，模型A在第三次采样时给出了一个和标准答案等价但形式完全不同的解法。我一开始以为它做错了，后来仔细看才发现它用了极坐标的方法，绕开了复杂的联立方程。这个解法在标准答案里没有，但完全正确，而且更简洁。那一刻我意识到，模型在数学上的潜力可能比我们当前评测出来的还要大，只是我们还没有找到最好的方式去激发它。也许下一阶段的重点，不是让模型做更多题，而是让模型学会用更聪明的方法做题。