企业官网建设流程全解析

AI 边缘计算平台三大核心能力：视频、音频、运动（机器人 / 智能终端视角，适配 RDK X5 这类 D-Robotics 硬件）

先统一框架定义：

边缘 AI 载体（移动机器人、智能盒、无人设备）

完整闭环 =感知输入 → AI 推理 → 执行输出

三大链路全部遵循「信号输入 → 处理 → 信号输出」模型：

1. 视频链路（视觉）：图像输入、图像输出 =》 单模态
2. 音频链路（听觉）：音频输入、音频输出 =》 单模态
3. 运动链路（本体执行 / 姿态）：运动感知输入、运动控制输出 =》 单模态

多模态：图像+音频+运动感知 =》 运动控制

一、视频（视觉链路）

输入（视觉感知）

数据源：

• MIPI CSI0/CSI1摄像头（IMX415/IMX477）
• USB 摄像头
• 本地视频文件、网络 RTSP 流

软件组件：srcampy / vio_capture（VIO 子系统）

数据形态：NV12/YUYV/BGR 图像帧

用途：送入BPU 运行 FCOS/ResNet/MobileNet 等 CNN，实现目标检测、分类、分割。各种CNN网络是又客户完成的！！！

输出（视觉呈现 / 推送）

两类输出：

1. 屏幕可视化输出HDMI 显示、OSD 叠加检测框（srcampy.Display），人机预览；
2. 码流网络输出H.264/H.265 硬件编码（srcampy.Encoder），RTSP/RTMP 推流到远端；

完整数据流闭环：

plaintext

CSI摄像头(输入) → ISP → NV12图像 → BPU AI推理 → 检测结果 → OSD画框叠加 / 视频编码推流（输出）

二、音频（听觉链路）

输入（声音感知）

麦克风阵列 / 单麦→声卡采集音频 PCM 数据

典型场景：语音拾音、噪音采集、声源定位

RDK 组件：ALSA 音频驱动、hobot_audio SDK

输出（声音播放）

喇叭扬声器播放：语音播报、告警音、背景音乐 数据流闭环：

plaintext

麦克风音频输入 → 音频预处理 → 语音识别AI推理 → 语言指令合成语音 → 声卡驱动播放音频（输出）

三、运动（本体运动链路，机器人最核心差异化模块）

很多方案只做音视频，机器人边缘平台必须增加运动控制链路

输入（运动感知）

采集机器人自身状态（反馈输入）：

• IMU（陀螺仪、加速度计）姿态数据
• 轮式编码器里程数据
• 激光雷达、TOF 距离信息
• 作用：感知自身位置、速度、姿态，SLAM 建图、姿态解算

输出（运动执行控制）

下发控制指令驱动执行机构：

• 差速轮、麦克纳姆轮底盘速度指令
• 机械臂关节角度
• 云台舵机转向指令

通信通道常见：RS485、CAN、串口

数据流闭环：

plaintext

IMU/编码器（运动感知输入） → 定位/导航算法 → 运动控制指令下发到底盘（运动输出）

整体三大链路架构总览

plaintext

┌────────────视频链路────────────┐ 输入：CSI/USB相机图像 （硬件实现） **AI任务：目标检测、图像分类、视觉SLAM （硬件实现，软件负责建模与模型训练，推理硬件实现） 输出：HDMI预览、编码视频流 （硬件实现） ┌────────────音频链路────────────┐ 输入：麦克风音频 （硬件实现） **AI任务：语音识别、降噪、声源定位 （硬件实现，软件负责建模与模型训练，推理硬件实现） 输出：扬声器语音播报、告警音 （硬件实现） ┌────────────运动链路────────────┐ 输入：IMU、编码器、雷达感知姿态/位置 （硬件实现） **AI任务：路径规划、运动平衡、自主导航 （软件实现：ROS2+算法，未来由硬件实现） 输出：底盘、机械臂、云台驱动指令 （硬件实现）

结合 RDK X5 工程对应组件映射（方便你代码体系对齐）

表格

关键价值总结

1. 纯音视频平台：安防摄像头、NVR 盒子；只有前两大链路；
2. 音视频 + 运动三大链路齐全：移动机器人、AGV、巡检小车、人形机器人（真正自主智能移动平台）；

拓展延伸：三大链路数据交互关系（机器人业务逻辑）

举一个巡检机器人典型场景：

1. 视频输入 → FCOS 检测到人 →
2. 运动输出：控制云台转向目标；
3. 音频输出：扬声器播报告警；
4. 运动感知输入（IMU / 编码器）实时校正自身位置，防止碰撞。