企业官网建设流程全解析

最近打开技术社区，到处都能看到“GPT-5.6 全员免费”“下一代巨兽 Astra 打响闪电战”这类消息。模型到底有没有全员免费，官方没官宣之前谁也没法下结论；但有一件事是确定无疑的——大模型再强，也需要一套能感知真实世界的输入系统，才能真正从“聊天框里的 AI”变成“能看见、能交互的 AI”。真正让 AI“看见”手部动作、人体姿态的，往往是深度相机这类硬件，而奥比中光 Astra 系列就是国内开发者比较熟悉的深度相机产品。

所以这篇文章不打算追热点，而是从一个可以落地的小型体感交互原型出发，带你完整走一遍“深度相机接入 + 手势识别 + 鼠标控制 + 大模型扩展”的开发流程。即使你手上只有普通 USB 摄像头，也完全可以跟着学到核心思路；如果你手里正好有奥比中光 Astra Pro，那就能体会到深度相机在体感交互中的真正价值。

1. 背景与核心概念

1.1 从 GPT-5.6 免费聊到体感交互

最近关于大模型免费开放的讨论热度确实很高。免费的意义不只是少花一笔订阅费，更意味着普通开发者和中小团队可以把前沿模型能力集成到自己的项目里，不再受制于高昂的 API 成本。但模型能力再强，它也只能处理文字、图片、视频等信息，无法直接感知物理世界。如果你要做体感游戏、手势控制、数字人互动或者机器人操控，仍然需要一套感知层硬件，把现实世界里的动作转换成计算机能理解的坐标、距离和姿态数据。

从这个角度看，体感交互正在成为大模型落地的重要接口之一。你通过手势告诉系统“我想点这里”，系统理解手势后，可以把“点击”行为转换成一个 Prompt 发送给大模型，再由大模型返回下一步动作指令。整个链路中，深度相机负责感知，算法负责理解，大模型负责决策和反馈。本文关注的正是这个链路前半段如何搭建起来。

1.2 深度相机与普通摄像头的区别

很多初学者会问：体感交互用普通摄像头不行吗？手机前置摄像头也能捕捉到手的画面，为什么还要专门买一台深度相机？

深度相机最大的价值是提供了“第三维”信息。在手势识别场景中，普通摄像头拍到一只手掌时，算法很难判断手是朝前伸还是朝侧面摆；深度相机可以直接给出手和相机之间的距离，这可以让手势判定更稳定、更立体。在人体姿态识别场景中，深度相机还能结合人体骨架算法，直接输出头部、肩膀、手肘、膝盖等关节点在三维空间中的坐标，这是体感游戏得以实现的核心基础。

需要说明的是，体感游戏的开发不一定只能依赖深度相机。像 MediaPipe 这样的人体/手部关键点算法，也可以从普通 RGB 图像中估算出关键点像素坐标，只是缺少可靠的深度信息。因此本文的分层策略是：先用普通摄像头跑通手势识别逻辑，再结合深度相机的 SDK 将彩色帧拿到手，这样即使没有深度相机，你也可以完成大部分入门学习。

1.3 体感游戏开发的基本流程

一个最简单的体感游戏控制流程大致包含四个步骤：

1. 采集画面：通过摄像头或深度相机获取彩色图像和深度图像。
2. 识别关键点：利用 MediaPipe 等算法模型识别手部 21 个关键点或人体 33 个关键点。
3. 生成控制指令：根据关键点坐标计算出手势、动作，并映射成鼠标点击、键盘按键或游戏手柄事件。
4. 反馈循环：游戏程序接收控制指令后做对应动作，并把画面渲染给玩家，玩家再根据画面调整下一个动作。

本文实战部分将重点完成第 1 到第 3 步。使用的技术栈包括：

• Python 3.9 及以上
• OpenCV：图像读取和显示
• MediaPipe：手部关键点检测
• PyAutoGUI：模拟鼠标操作
• 奥比中光 Astra Pro 深度相机（可选）
• 大模型 API：作为扩展，将手势语义转换为动作指令

2. 环境准备与版本说明

2.1 开发环境

本文的演示环境以 Windows 10/11 为主，Python 版本推荐 3.9 到 3.11。由于 MediaPipe、OpenCV 等库对 Python 新版本的支持有时会滞后，建议不要使用最新的大版本 Python，以免出现找不到预编译包的问题。

开发工具方面，可以使用 PyCharm、VS Code 或者直接使用命令行。VS Code 搭配 Python 插件是个人比较推荐的选择，因为调试摄像头相关代码时界面刷新比较直观。如果你更习惯 Jupyter Notebook，也可以逐段运行，但摄像头循环读取代码建议写成.py脚本运行，避免 Notebook 内核和摄像头资源被反复打开导致卡死。

2.2 硬件准备

实战部分用到两类硬件：

• 奥比中光 Astra Pro 深度相机：用于体验深度相机接入流程。如果你没有这款相机，也可以用支持 UVC 协议的普通 USB 摄像头代替，先跑通手势控制流程。
• 普通 USB 摄像头：这个可以作为替补方案，方便没有深度相机的同学完成实验。

需要提醒的是，不同型号的深度相机在驱动和 SDK 接口上存在差异，本文的描述主要基于奥比中光 Astra 系列和 OrbbecSDK 使用思路展开。版本不同，SDK 里的接口名、枚举名可能会变化，遇到差异时以你实际安装的 SDK 文档为准。

2.3 安装 Python 依赖

建议先创建虚拟环境，避免把依赖装到全局环境里导致冲突。在命令行中执行：

python -m venv body_interact_env body_interact_env\Scripts\activate

Windows 激活命令是Scripts\activate，macOS 或 Linux 下是source body_interact_env/bin/activate。

激活环境后，安装以下依赖：

pip install opencv-python mediapipe pyautogui numpy

如果你后续要调用大模型 API，还需要安装 requests：

pip install requests

安装完成后，可以用下面的命令确认版本：

python -c "import cv2, mediapipe, pyautogui; print('opencv', cv2.__version__); print('mediapipe', mediapipe.__version__)"

MediaPipe 在部分 Windows 环境上可能对 Python 版本有要求，遇到安装失败时，优先检查 Python 版本是否在官方支持范围内。

3. Astra Pro 驱动与 SDK 接入

3.1 安装驱动与 SDK

如果你使用的是奥比中光 Astra Pro 深度相机，第一步是安装驱动和软件开发工具包（SDK）。目前官方推荐的 SDK 是 OrbbecSDK，它统一支持 Astra 系列在内的多款深度相机，并提供了 C++、Python、C# 等语言的接口。

安装时需要注意几点：

• 下载对应操作系统版本的 SDK。Windows 版通常是一个可执行安装程序或者压缩包。
• 安装驱动前，建议先把相机通过 USB 3.0 接口连接到电脑。USB 2.0 接口虽然也能识别，但深度数据带宽较大，容易出现帧率偏低或画面撕裂。
• 安装完成后，插拔一次相机，然后在设备管理器中确认设备是否被正确识别。正常情况下，设备管理器里会出现 Orbbec 或 Astra 相关的设备节点。
• 如果你的相机型号比较老，可能需要检查固件版本，必要时先更新固件。

这里不推荐给出具体下载链接，因为 SDK 版本更新较快，建议直接搜索“OrbbecSDK 官方下载”或“奥比中光开发者中心”，进入官方文档页面获取最新版本。

3.2 验证设备是否被识别

安装完驱动后，推荐先运行 SDK 自带的示例程序。OrbbecSDK 的示例仓库里通常包含 DepthViewer、ColorViewer 等工具，打开后可以看到深度图和彩色图实时画面。

如果你希望能用 OpenCV 直接读取相机画面，可以先检查设备是否被系统识别为 UVC 摄像头。Astra 系列部分型号支持 UVC 协议，可以被 OpenCV 当成普通摄像头使用；部分型号则需要通过 SDK 主动获取帧。判断方法很简单：在设备管理器里把相机设备暂时禁用再启用，如果系统提示“摄像头已连接”并且能被相机应用识别，说明它走的是 UVC 通道。

但从工程实践来说，更稳妥的方式是直接用官方 SDK 获取彩色帧，这样可以确保拿到的是深度相机输出的高质量图像，同时方便后续扩展深度帧。

3.3 从 Astra Pro 获取彩色帧的代码思路

OrbbecSDK 的 Python 绑定在不同版本中接口差异较大，因此下面的代码是示例思路，不一定能直接在你的环境中运行，关键要理解流程：

1. 创建 Pipeline 对象，表示一条数据处理管线。
2. 创建 Config，启用彩色流。
3. 启动管线，循环等待帧数据。
4. 从帧集合中取出彩色帧，转换为 numpy 数组。
5. 交给 OpenCV 显示或送入 MediaPipe。

用伪代码来描述大致是：

import numpy as np import cv2 from pyorbbecsdk import Pipeline, Config, OBFrameType # 创建管线 pipeline = Pipeline() config = Config() # 启用彩色流 config.enable_stream(OBFrameType.OB_FRAME_COLOR) pipeline.start(config) while True: # 等待下一帧 frame_set = pipeline.wait_for_frames(10000) color_frame = frame_set.get_color_frame() if color_frame is None: continue # 将彩色帧转为 numpy 数组，具体方法名以 SDK 文档为准 frame = color_frame.get_data() # 确保图像尺寸正确 frame = np.asanyarray(frame) cv2.imshow("Astra Color", frame) if cv2.waitKey(1) & 0xFF == 27: break pipeline.stop() cv2.destroyAllWindows()

再次说明：上述代码的枚举名、方法名在最新版 SDK 中可能会发生变化，请务必对照官方文档进行调整。核心思路不是死记 API，而是理解“创建管线 -> 配置流 -> 取帧 -> 转数组”这条链路。

如果你没有深度相机，可以跳过本章后面的内容，直接用cv2.VideoCapture(0)打开普通摄像头，同样可以完成第 4 章和第 5 章的实战。

4. 基于 MediaPipe 的手势识别

4.1 MediaPipe Hands 介绍

MediaPipe 是 Google 开源的多媒体机器学习框架，其中 Hands 模型可以实时检测手部 21 个关键点，包括手腕、拇指各关节点、食指到小指的近端、中间、远端关节点和指尖。每个关键点包含归一化坐标(x, y, z)，其中x、y是相对于图像宽高的比例坐标，z表示深度相对信息。

选择 MediaPipe Hands 有几个原因：模型轻量，在 CPU 上也能获得不错的实时性；安装简单，一条 pip 命令就可以搞定；官方提供了清晰的关键点索引图，方便开发者根据索引取指尖、指根等位置。

4.2 获取手部关键点并可视化

下面是一个完整可运行的手势关键点检测脚本。核心逻辑是打开摄像头、逐帧处理、绘制关键点和连线。

import cv2 import mediapipe as mp # 初始化 MediaPipe Hands mp_hands = mp.solutions.hands mp_drawing = mp.solutions.drawing_utils cap = cv2.VideoCapture(0) if not cap.isOpened(): print("无法打开摄像头，请检查设备编号") exit() # 参数说明： # static_image_mode=False 表示使用视频模式，连续帧之间会跟踪手部 # max_num_hands=1 最多检测一只手，减少计算开销 # min_detection_confidence=0.7 检测置信度阈值 # min_tracking_confidence=0.5 跟踪置信度阈值 with mp_hands.Hands( static_image_mode=False, max_num_hands=1, min_detection_confidence=0.7, min_tracking_confidence=0.5 ) as hands: while True: ret, frame = cap.read() if not ret: break # 镜像翻转，让画面更符合直觉 frame = cv2.flip(frame, 1) h, w, _ = frame.shape # MediaPipe 需要 RGB 格式，OpenCV 读出来是 BGR rgb = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) results = hands.process(rgb) if results.multi_hand_landmarks: for hand_landmarks in results.multi_hand_landmarks: # 画关键点 mp_drawing.draw_landmarks( frame, hand_landmarks, mp_hands.HAND_CONNECTIONS ) cv2.imshow("Hand Tracking", frame) if cv2.waitKey(1) & 0xFF == 27: break cap.release() cv2.destroyAllWindows()

运行后，如果摄像头能正常打开，画面中会实时显示手部骨架。手指上的 21 个点会被连成线条，线条的绘制方式就是HAND_CONNECTIONS定义好的连接关系。

常见的问题是：手离摄像头太远或太近时检测不到。通常手出现在距离摄像头 30-80 厘米范围内效果最好。背景太杂乱时，可以让手尽量靠近画面中央，减少误检。

4.3 基于关键点判断指尖动作

得到 21 个关键点后，下一步就是根据坐标判断手势。先来看一下关键点索引：

• 0：手腕
• 1-4：拇指（4 是拇指尖）
• 5-8：食指（8 是食指尖）
• 9-12：中指（12 是中指尖）
• 13-16：无名指（16 是无名指尖）
• 17-20：小指（20 是小指尖）

在体感控制中，最常见的交互手势是“捏合点击”，即拇指和食指指尖碰到一起。计算两个指尖的欧氏距离：

import math def calc_distance(landmarks, index_a, index_b, w, h): x_a = int(landmarks.landmark[index_a].x * w) y_a = int(landmarks.landmark[index_a].y * h) x_b = int(landmarks.landmark[index_b].x * w) y_b = int(landmarks.landmark[index_b].y * h) return math.hypot(x_a - x_b, y_a - y_b)

当拇指尖（索引 4）与食指尖（索引 8）的距离小于某个阈值时，就认为发生了“点击”。阈值需要根据图像分辨率调整，一般设成图像宽度的 5% 到 8%。比如宽度为 640 时，阈值可以设为 40 像素左右。

只判断点击还不够，体感控制还需要把手的移动映射成鼠标移动。这就是下一章的内容。

5. 体感控制实战：用手势控制鼠标

5.1 坐标映射逻辑

要让手部位置控制鼠标，需要解决一个坐标系映射问题。MediaPipe 输出的x、y是 0 到 1 的归一化坐标，而屏幕坐标的区间取决于当前屏幕分辨率。简单映射公式是：

screen_x = (1 - hand_x) * screen_width screen_y = hand_y * screen_height

这里使用1 - hand_x是因为画面经过了镜像翻转，手向右移动时，屏幕上的光标也向右移动，这样手感更自然。

直接映射会让鼠标移动非常灵敏，手的一点点抖动都会被放大。比较理想的做法是对目标坐标做平滑处理，例如每次只移动当前位置到目标位置的 20%：

current_x = current_x + (target_x - current_x) * 0.2 current_y = current_y + (target_y - current_y) * 0.2

这种“低通滤波”思想在很多体感项目中都有应用，可以让鼠标移动轨迹更顺滑。

5.2 完整代码

下面把关键点检测、坐标映射、捏合点击整合成一个完整的体感鼠标控制脚本。运行前请确认 PyAutoGUI 已经安装。

import cv2 import math import mediapipe as mp import pyautogui # 获取屏幕尺寸 screen_w, screen_h = pyautogui.size() mp_hands = mp.solutions.hands mp_drawing = mp.solutions.drawing_utils cap = cv2.VideoCapture(0) if not cap.isOpened(): print("无法打开摄像头") exit() # 当前鼠标坐标，用于平滑 current_x, current_y = screen_w // 2, screen_h // 2 # 点击状态，防止连续触发 clicked = False with mp_hands.Hands( static_image_mode=False, max_num_hands=1, min_detection_confidence=0.7, min_tracking_confidence=0.5 ) as hands: while True: ret, frame = cap.read() if not ret: break frame = cv2.flip(frame, 1) h, w, _ = frame.shape rgb = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) results = hands.process(rgb) if results.multi_hand_landmarks: for hand_landmarks in results.multi_hand_landmarks: mp_drawing.draw_landmarks( frame, hand_landmarks, mp_hands.HAND_CONNECTIONS ) # 以手掌中心（关键点 9 中指根部）作为光标位置 hand_x = hand_landmarks.landmark[9].x hand_y = hand_landmarks.landmark[9].y target_x = int((1 - hand_x) * screen_w) target_y = int(hand_y * screen_h) # 平滑移动 current_x = int(current_x + (target_x - current_x) * 0.2) current_y = int(current_y + (target_y - current_y) * 0.2) pyautogui.moveTo(current_x, current_y, duration=0.01) # 计算拇指尖(4) 和食指尖(8) 的距离 thumb_x = int(hand_landmarks.landmark[4].x * w) thumb_y = int(hand_landmarks.landmark[4].y * h) index_x = int(hand_landmarks.landmark[8].x * w) index_y = int(hand_landmarks.landmark[8].y * h) distance = math.hypot(thumb_x - index_x, thumb_y - index_y) click_threshold = w * 0.06 if distance < click_threshold: if not clicked: pyautogui.click() clicked = True print("click") else: clicked = False cv2.imshow("Air Mouse", frame) if cv2.waitKey(1) & 0xFF == 27: break cap.release() cv2.destroyAllWindows()

这个脚本把手掌根部关键点（索引 9）当作光标控制点，因为手掌中心比指尖更稳定，不容易因为手指晃动导致鼠标乱跳。当拇指和食指捏合时触发一次鼠标左键点击。clicked变量用于实现“边沿触发”，避免捏合期间反复点击。

5.3 运行与验证

运行脚本后，会出现摄像头画面。把手伸到摄像头前，你会发现鼠标光标开始跟着手掌移动。当你把拇指和食指捏在一起时，终端会输出click，同时触发一次鼠标左键点击。

几项验证建议：

• 先打开一个文本编辑器，把手势点击用在“选中文字”或“关闭窗口”上，测试手感。
• 如果鼠标移动过快，调低平滑系数，例如从0.2改成0.1。
• 如果点击不够灵敏，适当调大click_threshold；如果手指没有捏合就误触发，则调小该值。

请务必注意，运行这个程序时鼠标会被程序接管。如果你想中断，把光标移出屏幕边缘不一定有效，最可靠的方式是直接按键盘上的Esc键（脚本中waitKey(1)监听了 ESC 的 ASCII 码 27）。

6. 接入大模型 API 的扩展思路

6.1 体感交互与语义决策的完整链路

手势控制鼠标只是体感交互的第一层实现。如果你希望构建一个更完整的“AI 体感助手”，可以把识别到的动作转换为自然语言描述，再交给大模型做语义理解和决策。完整链路是：

1. 深度相机/普通摄像头采集画面。
2. MediaPipe 检测到手部关键点。
3. 程序根据关键点判断出当前手势，比如“握拳”“张开手掌”“捏合”等。
4. 将手势描述转换成 Prompt，例如“用户当前正在做握拳动作，我应该触发游戏中的拾取操作”。
5. 大模型返回操作指令文本。
6. 游戏程序解析指令并执行。

6.2 手势到语义的转换示例

在手势识别脚本里，我们可以先定义一个简单的映射函数，把手势名称转换成自然语言描述：

def gesture_to_desc(distance, thumb_x, thumb_y, index_x, index_y): if distance < 40: return "用户正在做捏合手势，也就是拇指和食指靠拢，可能表示点击或选择。" if index_y < thumb_y: return "用户食指在拇指上方，可能正在向上指。" return "用户手掌张开，处于等待状态。"

这个函数很简单，但已经能说明思路：算法产生的是结构化信息（距离、位置、夹角），通过模板拼接变成大模型更容易理解的句子。

6.3 大模型返回动作指令

调用大模型 API 时，建议使用兼容 OpenAI 风格的接口。下面是一个不绑定具体厂商的请求示例，你需要根据实际 API 地址和模型名称替换。

import requests def ask_model(hand_desc): api_url = "https://your-model-api.example.com/v1/chat/completions" headers = { "Authorization": "Bearer YOUR_API_KEY", "Content-Type": "application/json" } payload = { "model": "your-model-name", "messages": [ { "role": "system", "content": "你是一个体感游戏控制助手。根据用户的手势描述，返回一个 JSON 指令。" }, { "role": "user", "content": hand_desc } ] } resp = requests.post(api_url, json=payload, headers=headers, timeout=10) resp.raise_for_status() return resp.json()

这里有一个工程建议：不要每帧都调用大模型 API，一方面延迟太高，另一方面成本不可控。正确的做法是“事件驱动”——只有当手势状态发生变化时才调用一次。例如从“张开”变为“捏合”时调用，捏合期间不重复调用。这个状态机思路和上一章中clicked变量的逻辑完全一致。

更进一步的方案是让大模型直接返回 JSON 指令，例如：

{"action": "click", "params": {"button": "left"}}

这样游戏端就可以直接解析指令并执行，整个体感交互闭环就完成了。

7. 常见问题与排查思路

7.1 Astra 相机无法被识别

深度相机对 USB 带宽要求比普通摄像头高很多，很多“用不了”的问题其实都是线材和接口引起的。排查时建议先把手头的扩展坞、延长线全部去掉，直接插主机后置 USB 3.0 接口测试。

7.2 MediaPipe 检测不到手

其中比较隐蔽的问题是摄像头画面默认没有镜像。如果你发现移动右手，画面中的手是反转的，或者检测到的是左右手互换，就要在代码里做镜像翻转，就像文中cv2.flip(frame, 1)那样。

7.3 PyAutoGUI 报错或鼠标乱跳

在部分 Windows 系统上，PyAutoGUI 会因为屏幕缩放比例问题导致坐标偏移。解决办法是在代码开头关闭系统缩放影响，或者在 PyAutoGUI 调用之前设置缩放感知：

import ctypes ctypes.windll.shcore.SetProcessDpiAwareness(1)

鼠标移动不流畅通常不是 PyAutoGUI 的问题，而是平滑系数设置过小或摄像头帧率过低。先降低画面分辨率，比如在VideoCapture设置宽度为 640、高度为 480，再看效果。

7.4 运行时卡顿、CPU 占用过高

MediaPipe Hands 本身对 CPU 比较友好，但 OpenCV 显示窗口会占用不少资源。如果 CPU 占用高于预期，可以在循环里减少绘制操作，或者降低帧率，每隔一帧处理一次。还可以把cv2.imshow的窗口缩小，显示性能会明显提升。

8. 最佳实践与工程建议

8.1 硬件选择与相机标定

如果只是学习入门，普通 USB 摄像头完全够用；如果真的要开发体感游戏或产品原型，建议优先选择深度相机。深度信息带来的背景分割和距离判断能力，可以让手势识别在复杂环境下稳定不少。

拿到深度相机后，不要急着写代码，先做相机标定和基础测试。确认深度图和彩色图对齐正常，否则后续算法拿到的坐标可能“对不上”。很多体感项目后期出现问题，追根溯源都是前期没有做好相机标定。

8.2 手势判定逻辑要可配置

手势阈值不要写死在代码里。建议把点击阈值、平滑系数、检测置信度等参数放到配置文件中，方便不同环境、不同相机型号下快速调整。一个简单的config.yaml或者config.json就能解决这个问题。

下面的配置示例供参考：

{ "camera_id": 0, "frame_width": 640, "frame_height": 480, "click_threshold_ratio": 0.06, "smooth_factor": 0.2, "min_detection_confidence": 0.7, "min_tracking_confidence": 0.5 }

这样的设计能让测试同学在没有代码基础的情况下，也能通过修改配置完成调参。

8.3 状态机与事件驱动

体感交互最忌讳的就是对每一帧做完整决策。更合理的做法是引入手势状态机：

• 定义手势状态：未知、张开、捏合、握拳、滑动。
• 维护当前状态。
• 只有当状态发生跳转时才触发事件。
• 连续若干帧保持同一状态，才认为状态有效。这个“防抖”机制可以大幅减少误触。

举例来说，捏合点击至少要连续 3 帧被判定为捏合，才真正触发点击；松开后也要连续 3 帧不是捏合，才重置点击状态。这样可以过滤掉手指抖动造成的误判。

8.4 大模型接入的安全与成本控制

当你把大模型接入体感系统时，需要特别注意三点：

• 不要在前端代码中硬编码 API Key。应通过后端服务转发请求，密钥保存在服务端环境变量中。
• 对用户输入做边界控制。手势描述虽然是程序生成的，但如果后续允许用户自定义手势内容，就可能引发 Prompt 注入风险。需要对上传文本做长度限制和敏感词过滤。
• 控制调用频次。只对状态变化事件调用大模型，并增加超时和重试机制，避免网络抖动导致体感流程卡死。

8.5 日志与调试体系

体感交互系统涉及硬件、算法、业务逻辑多层，建议在关键节点记录日志：

• 相机启动是否成功。
• 每帧的检测帧率。
• 手势状态变化时间点。
• 大模型 API 的响应耗时和返回内容。

有了日志，遇到“偶尔能识别，偶尔不能识别”这类随机问题时，才能快速定位是硬件波动、算法波动还是网络波动。

9. 总结与后续学习路线

这篇文章从“GPT-5.6 免费开放”这类热点切入，但核心落点是实打实的体感交互开发。你跟着完整走了一遍以下链路：理解了深度相机和普通摄像头的区别，配置了 Python 开发环境，通过 SDK 接入 Astra 深度相机的彩色流，再用 MediaPipe 提取手部 21 个关键点，最后用 PyAutoGUI 把手势映射成鼠标移动和点击。在此基础上，我们还讨论了大模型 API 如何接入体感系统，形成“感知 -> 语义 -> 决策 -> 反馈”的闭环。

下一步你可以继续深入的方向有三个：

• 用深度相机的深度流做更稳定的背景分割，甚至直接获取手部距离信息，实现“推近、拉远”这类三维手势。
• 把 MediaPipe 的关键点数据接入 Unity 或 Unreal Engine，开发真正可玩的体感小游戏。
• 结合大模型让体感交互具备“语义理解”能力，比如用户做一个圆圈手势，大模型就返回“切换场景”这样的高层指令。

如果你手里暂时没有深度相机，先用普通摄像头把手势控制跑通，再考虑硬件升级。学习过程中遇到最卡壳的地方往往是摄像头兼容和参数调优，建议每次只改一个参数，观察变化，积累经验。如果本文对你有帮助，可以收藏备用，也欢迎在实际项目里验证这些思路后再做调整。