企业官网建设流程全解析

SeeAct Grounding策略详解：text_choice与text_choice_som的区别与应用

【免费下载链接】SeeAct[ICML'24] SeeAct is a system for generalist web agents that autonomously carry out tasks on any given website, with a focus on large multimodal models (LMMs) such as GPT-4V(ision).项目地址: https://gitcode.com/gh_mirrors/se/SeeAct

SeeAct是一个基于多模态大模型的通用网页代理系统，它能够自主在任何网站上执行任务。在SeeAct系统中，grounding策略是核心组件之一，它决定了AI代理如何理解和定位网页上的交互元素。本文将深入解析SeeAct中的两种主要grounding策略：text_choice和text_choice_som，帮助您理解它们的区别、应用场景和选择策略。

🔍 什么是Grounding策略？

在AI网页代理中，grounding指的是将AI的语言理解与网页上的具体元素进行关联的过程。SeeAct的grounding策略决定了模型如何识别、定位和操作网页元素，是实现自动化任务执行的关键技术。

SeeAct提供了两种主要的grounding策略：

1. text_choice- 基于文本选择的传统方法
2. text_choice_som- 基于文本选择与视觉标记的增强方法

📝 text_choice策略详解

text_choice是SeeAct的基础grounding策略，它通过文本描述来识别和选择网页元素。这种策略的核心思想是：将网页上的可交互元素转换为文本选项，让AI模型从中选择最匹配当前任务的那个选项。

工作原理

1. 元素提取：从网页HTML中提取所有可交互元素
2. 文本化表示：将每个元素转换为文本描述
3. 多选问题：构建包含所有选项的多选问题
4. AI推理：AI模型基于任务描述选择最合适的选项

应用示例

在data/examples/textual_choice目录中，我们可以看到text_choice策略的实际应用。例如，在一个婚礼摄影师搜索任务中，系统会展示类似如下的选择界面：

图：text_choice策略的文本选项界面

🎯 text_choice_som策略详解

text_choice_som（Set of Marks）是text_choice的增强版本，它在文本选择的基础上增加了视觉标记功能。这种策略不仅提供文本选项，还会在网页上实际标记出每个选项对应的元素位置。

核心特性

1. 视觉标记：在网页上使用彩色边框和标签标记每个可交互元素
2. 实时反馈：用户可以看到AI正在关注哪些元素
3. 精准定位：结合文本描述和视觉位置信息

技术实现

text_choice_som策略通过seeact_package/seeact/mark_page.js文件实现视觉标记功能。该脚本会：

• 扫描网页中的所有可交互元素
• 为每个元素生成随机颜色的边框
• 添加字母标签以便识别
• 提供坐标信息给AI模型

图：text_choice_som策略的视觉标记效果

⚖️ 两种策略的对比分析

性能差异

1. 准确性：text_choice_som由于结合了视觉信息，通常具有更高的定位准确性
2. 速度：text_choice更轻量，响应速度更快
3. 资源消耗：text_choice_som需要额外的JavaScript执行和渲染

🚀 如何选择合适的Grounding策略？

选择text_choice的场景

• API集成：当需要通过API批量处理任务时
• 资源受限：在计算资源有限的环境中
• 简单任务：对于结构简单的网页和明确的任务
• 自动化流水线：在不需要人工干预的自动化流程中

选择text_choice_som的场景

• 演示和教育：需要直观展示AI决策过程
• 复杂网页：处理动态内容丰富的现代网页
• 调试和开发：需要可视化AI的注意力区域
• 用户交互：在需要用户确认或监督的场景中

🛠️ 配置与使用指南

基础配置

在SeeActAgent中配置grounding策略非常简单：

# 使用text_choice_som（默认） agent = SeeActAgent(grounding_strategy="text_choice_som") # 使用text_choice agent = SeeActAgent(grounding_strategy="text_choice")

配置文件设置

您也可以在src/config目录的配置文件中指定grounding策略：

[agent] grounding_strategy = "text_choice_som" # 或 "text_choice"

📊 实际应用案例

案例1：在线购物任务

假设您需要让AI代理在电商网站上搜索"无线耳机"，两种策略的表现如下：

text_choice：AI会分析文本选项如"搜索框"、"分类菜单"、"商品列表"，然后选择最合适的操作。

text_choice_som：AI不仅能看到文本选项，还能看到网页上实际标记出的搜索框位置，做出更准确的判断。

图：电商网站的交互元素标记

案例2：表单填写任务

在处理表单填写时，text_choice_som的优势更加明显：

• 精确字段定位：准确标记每个输入框
• 视觉反馈：用户可以清楚地看到AI正在操作哪个字段
• 错误减少：降低误操作的可能性

🔧 高级技巧与最佳实践

1. 混合使用策略

在实际项目中，您可以考虑根据任务复杂度动态切换策略：

def select_strategy(task_complexity): if task_complexity == "simple": return "text_choice" else: return "text_choice_som"

2. 性能优化

• 缓存机制：对于重复访问的页面，缓存元素识别结果
• 增量更新：只更新发生变化的部分，减少处理时间
• 并行处理：同时处理多个页面的元素识别

3. 错误处理

• 回退机制：当text_choice_som失败时自动切换到text_choice
• 验证步骤：添加额外的验证确保操作正确性
• 日志记录：详细记录grounding决策过程便于调试

📈 性能对比测试

根据SeeAct项目的实验数据，两种策略在不同场景下的表现：

🎯 总结与建议

核心结论

1. text_choice适合简单、标准化的任务，具有轻量、快速的优点
2. text_choice_som适合复杂、动态的网页，提供更高的准确性和用户体验
3. 选择策略应根据具体需求和环境条件决定

实践建议

✅新手入门：从text_choice开始，熟悉基本概念后再尝试text_choice_som
✅生产环境：根据任务复杂度选择合适的策略，可考虑混合使用
✅开发调试：优先使用text_choice_som，便于可视化调试
✅性能敏感：在资源受限环境中使用text_choice

未来展望

随着多模态AI技术的发展，SeeAct的grounding策略将继续演进。未来的方向可能包括：

• 3D空间理解：更好地理解网页的立体布局
• 语义增强：结合语义理解提高元素识别准确性
• 自适应学习：根据历史数据自动优化grounding策略

💡 快速开始指南

想要立即体验SeeAct的grounding策略？按照以下步骤操作：

1. 安装SeeAct包：

   pip install seeact

2. 配置API密钥：

   import os os.environ["OPENAI_API_KEY"] = "your-api-key"

3. 选择grounding策略：

   from seeact import SeeActAgent # 使用增强的text_choice_som策略 agent = SeeActAgent( grounding_strategy="text_choice_som", default_website="https://www.google.com" )

4. 执行任务：

   result = agent.run("搜索Python编程教程")

无论您是AI研究人员、开发者还是普通用户，理解SeeAct的grounding策略都将帮助您更好地利用这个强大的网页自动化工具。选择合适的策略，让AI代理更智能、更准确地为您服务！🚀

【免费下载链接】SeeAct[ICML'24] SeeAct is a system for generalist web agents that autonomously carry out tasks on any given website, with a focus on large multimodal models (LMMs) such as GPT-4V(ision).项目地址: https://gitcode.com/gh_mirrors/se/SeeAct