企业官网建设流程全解析

揭秘GR00T-H-N1.7的核心架构：Vision Transformer与Flow Matching Transformer如何驱动精准手术动作

【免费下载链接】GR00T-H-N1.7项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/GR00T-H-N1.7

GR00T-H-N1.7是NVIDIA Isaac GR00T N1.7的术后训练变体，专为手术机器人设计。它构建在GR00T N1.7 VLA基础上，利用Open-H embodiment数据集进行适配，将视觉语言基础模型与扩散Transformer头部相结合，实现连续动作的去噪处理，为精准手术动作提供强大驱动。

核心架构概览：Vision Transformer与Flow Matching Transformer的协同

GR00T-H-N1.7的神经网络架构继承自GR00T N1.7系列模型，其核心包含Vision Transformer、Multilayer Perceptron和Flow Matching Transformer，总参数达到3B。这一架构巧妙融合了视觉处理与动作生成能力，为手术机器人的精准操作奠定了坚实基础。

图：GR00T-H架构示意图，展示了手术机器人系统与核心技术的结合，体现了Vision Transformer与Flow Matching Transformer在精准手术动作驱动中的关键作用。

Vision Transformer：手术场景视觉信息的高效解析

图像输入与预处理

GR00T-H-N1.7通过预训练的Vision Transformer（SigLip2）处理机器人摄像头获取的RGB图像帧。支持任意分辨率的二维RGB图像输入，能够灵活应对不同手术场景下的视觉需求。

视觉编码流程

机器人摄像头捕捉的图像帧首先经过Vision Transformer进行编码。对于每个机器人平台，系统会根据其摄像头配置（如单目第三人称视图、带手腕摄像头的第三人称视图等），将图像信息转化为图像令牌嵌入。这些嵌入会被串联成一个序列，为后续的跨模态处理做好准备。

Flow Matching Transformer：精准手术动作的生成引擎

多模态信息融合

Flow Matching Transformer在处理过程中，会将来自Cosmos-Reason2-2B的视觉和语言嵌入作为关键信息，与机器人本体感受信息和动作序列进行交叉注意力计算。这种多模态信息的深度融合，使得模型能够充分理解手术场景和任务要求，为精准动作生成提供全面依据。

动作生成机制

Flow Matching Transformer采用扩散Transformer（DiT）的实现方式，通过自适应层归一化（AdaLN）实现扩散步骤的条件控制。在训练阶段，输入动作会通过在干净动作向量和高斯噪声向量之间随机插值而被破坏；在推理时，模型首先采样一个高斯噪声向量，然后利用其速度预测迭代重建连续值动作。这种机制能够生成平滑、精准的手术动作，满足复杂手术操作的需求。

关键组件协同工作流程

1. 视觉信息处理：RGB相机帧经Vision Transformer（SigLip2）处理，生成图像令牌嵌入。
2. 本体感受编码：机器人本体感受信息通过由embodiment ID索引的多层感知器（MLP）进行编码，对于可变维度的本体感受输入，会在送入MLP前填充到可配置的最大长度。
3. 语言指令编码：文本指令由Cosmos-Reason2-2B进行编码，生成语言令牌嵌入。
4. 多模态序列构建：将所有帧的图像令牌嵌入和语言令牌嵌入串联成一个序列。
5. 动作生成与解码：Flow Matching Transformer对上述多模态序列、本体感受信息和动作序列进行处理，生成连续值动作向量。动作由每个独特embodiment对应的MLP进行编码和解码速度预测。

通过Vision Transformer与Flow Matching Transformer的紧密协作，GR00T-H-N1.7能够高效解析手术场景视觉信息，精准生成手术动作，为机器人辅助手术提供强大的技术支持。该模型已准备好投入商业使用，适用于医疗机器人研发、手术机器人探索、算法开发等领域，但需注意其暂不用于临床部署、患者护理或医疗决策。

若要获取该项目，可通过以下仓库地址进行clone：https://gitcode.com/hf_mirrors/nvidia/GR00T-H-N1.7。更多关于模型架构的详细信息，可参考EXPLAINABILITY.md、SAFETY_and_SECURITY.md等相关文档。

【免费下载链接】GR00T-H-N1.7项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/GR00T-H-N1.7