企业官网建设流程全解析

GAIA 基准评测指南：从一道真题到拿到结业分数

【免费下载链接】agents-courseThis repository contains the Hugging Face Agents Course.项目地址: https://gitcode.com/GitHub_Trending/ag/agents-course

GAIA 基准是 Hugging Face 智能体课程 agents-course 第四单元的结业评测标准，用来衡量 AI 助手在真实世界任务上的推理、网页浏览与工具调用能力。本文依据课程仓库内的原始文档，讲清这套评测为什么对 AI 很难、课程实际考哪 20 道题、及格线定在多少，以及把你的智能体提交评分并领取证书的完整路径。

先看一道 AI 很难答对的真题

智能体课程之所以选 GAIA 当结业关卡，是因为它有一类题目：人读一遍就懂，AI 却经常在中途卡住。仓库里给出的三级难度示例是这样的——

2008 年的画作《乌兹别克斯坦的刺绣》里画了哪些水果，曾在 1949 年 10 月一艘远洋班轮的早餐菜单上出现过？这艘船后来被电影《最后航程》用作道具。请把这些水果按画作中从 12 点位置开始的顺时针顺序，用逗号分隔、以复数形式列出。

这道题要连做四步：识别画中的水果，查出《最后航程》用过的船，找到该船 1949 年 10 月的早餐菜单，最后按指定格式排序输出。每一步都依赖上一步的结果，单独的大模型常在某一环失手，而这正是多步推理加检索加工具调用的智能体系统的主场（GAIA 介绍原文）。

GAIA 共收录 466 道这样的题。仓库列出的参照数据是：人类约 92% 成功率，带插件的 GPT-4 约 15%，OpenAI 的 Deep Research 在验证集上得 67.36%。同一道题，人与系统的差距一目了然。

四条设计原则与难度分层

GAIA 的出题围绕四条原则。第一，真实难度：任务普遍要求多步推理、多模态理解和工具交互。第二，人类可解释：题目对人类概念上简单，便于人工核对。第三，不可钻空子：必须完整执行任务才能得分，暴力猜测无效。第四，判分简单：答案简短、事实性强、无歧义，适合自动比对。

题目再按步骤规模分成三层：

判断一份评测集适合测什么，先看题目落在哪一层：一级考执行链，二级考协同，三级考规划。

课程结业项目：20 道题与 30% 的及格线

最终作业不是考概念，而是把你的智能体放到 GAIA 的一个小子集上实际跑一遍。这个子集从验证集的一级题中抽取 20 道，筛选标准是每题需要的工具数和步骤数（动手实践页）。

课程文档认为，让初学者在一级题上做到 30% 的准确率，是一个相对公平的检验。30% 同时也是证书的门槛：得分高于这条线即可领取结业证书，并能在学生排行榜上查看自己的位置。🎯 换句话说，这一关考的不是复杂题，而是你的智能体能不能稳定走完"取题、执行、提交"整条链路。

提交智能体评分的完整步骤

评分走一个专用 API，文档给出四个路由：GET /questions拉取全部题目，GET /random-question取一道随机题，GET /files/{task_id}下载题目关联的文件，POST /submit提交答案并更新排行榜。

推荐路径分三步：

1. 把课程提供的基础模板复制到自己的 Hugging Face Space 并保持公开；模板允许自由改造甚至完全重写。
2. 让智能体逐题调用取题接口，跑出每题的答案。
3. 汇总后提交，载荷结构如下：

POST /submit { "username": "你的 HF 用户名", "agent_code": "指向公开 Space 代码的链接", "answers": [{ "task_id": "任务ID", "submitted_answer": "答案文本" }] }

判分采用完全匹配，答案与标准答案逐字比对，多一个字都可能失分。提示词里要明确要求智能体"只回复答案本身"，并且课程特别提醒：提交内容中不要带上 FINAL ANSWER 字样。

GAIA 测不出来的能力

答案简短且事实性强，让判分很干净，但也划定了边界：创意类、开放式任务没有唯一标准答案，难以纳入这套框架；长周期任务的持续表现同样不在考察范围内。

分数本身也值得对照着看：最强公开系统拿到验证集 67.36%，而人类约 92%，说明即使顶级智能体也远没到人类水平。GAIA 另有一个面向社区的公开排行榜，用 300 道测试题持续更新。课程还提示，学生排行榜允许先提交后核验，没有公开代码支撑的高分可能被复核、调整甚至移除，看榜时要把这一点算进去。

评测之后往哪走

结业项目不是终点。补充阅读部分推荐了两个值得了解的开放标准。模型上下文协议（MCP）由 Anthropic 提出，相当于给 AI 模型装了一个类似 USB-C 的通用接口，让模型安全接入外部工具与数据源，而不用为每个工具单独做集成。代理对代理协议（A2A）由 Google 推出，方向相反：让多个智能体彼此通信、协同分工。前者连接智能体与工具，后者连接智能体与智能体，两者互补。

如果想进一步理解智能体追踪与评估方法，可以去看附加单元 2 的可观测性内容；确认达标后，证书领取说明给出了领取步骤。

结构对照说明

本文采用问题驱动主线：从"如何证明智能体真的有用"出发，经拆解（出题逻辑）、方案（课程子集）、验证（提交流程）、边界（测不出什么）收尾。各节功能与样文的重叠关系如下：

【免费下载链接】agents-courseThis repository contains the Hugging Face Agents Course.项目地址: https://gitcode.com/GitHub_Trending/ag/agents-course