快速上手DyberPet：打造你的专属AI桌面伙伴，5分钟开启数字陪伴新时代
2026/7/24 22:50:06
第九章：类脑计算应用 — 知识点笔记
综合来源：课件9-10（PDF）、课堂笔记（CSDN）、期末复习课录音
占位图
超级压缩
9.1 神经形态相机（事件相机）
生物启发
- 光感受器的局部自适应增益控制→高动态范围
- 视杆细胞的空间带通滤波器→滤除冗余和噪声
- ON和OFF脉冲信号编码→提高发放效率
- 感光功能区划分：中央凹（精细纹理）+ 外周（快速运动）
两大类视觉采样模型
| 类型 | 原理 | 代表设备 |
|---|---|---|
| 差分型（事件相机） | 亮度变化超阈值→产生事件 | DVS, ATIS, DAVIS, CeleX |
| 积分型（脉冲相机） | 累积光强至阈值→发放脉冲 | Vidar (Spike Camera) |
事件相机工作原理 ⭐
核心公式：
C=logI(x,t)−logI(x,t−Δt)C = \log I(\boldsymbol{x}, t) - \log I(\boldsymbol{x}, t - \Delta t)C=logI(x,t)−logI(x,t−Δt)
- 亮度对数变化超过对比度灵敏度C→触发事件
- 亮度增加→ON事件（极性+1）
- 亮度减少→OFF事件（极性-1）
事件格式：(t,x,y,p)(t, x, y, p)(t,x,y,p)— 时间戳(μs)、像素坐标、极性(±1)
与传统相机对比：
- 传统：固定帧率输出整帧图像
- 事件相机：每个像素独立异步输出事件流
四大核心优势
| 优势 | 原因 |
|---|---|
| 异步 | 每个像素独立，无全局帧率 |
| 稀疏 | 仅亮度变化处产生事件，数据量小 |
| 高时间分辨率 | 微秒级精度（可达1000fps等效），远超传统相机 |
| 高动态范围 | >120dB，远超传统相机（~60dB） |
应用场景
- 高速运动物体检测与追踪
- 弱光/强光/逆光等极端场景
- 动作识别与行为分析
- 自动驾驶（比亚迪"天神之眼"平台搭载闪拍摄像头）
- 场景感知增强
【图片：事件相机vs传统相机输出对比 — 课件910 第10页】
三种传感范式对比
| 生物神经信号 | SNN | 事件相机 | |
|---|---|---|---|
| 特点 | 异步、事件驱动 | 异步、事件驱动传递 | 异步、事件驱动感光 |
9.2 事件流编码方法 ⭐
将异步事件流转换为网络可处理的格式：
| 编码方法 | 原理 | 优点 | 缺点 | 适用场景 |
|---|---|---|---|---|
| 时间计数编码 | 窗口内统计每像素事件次数（可分正负极性） | 简单、计算快 | 丢失时间信息 | 高速运动检测 |
| 二值事件帧 | 窗口内是否有事件→0/1 | 极度压缩、稀疏高效 | 动态信息丢失 | 极简嵌入式 |
| Time-Surface | S(x,y,t)=exp(−t−tlastτ)S(x,y,t)=\exp(-\frac{t-t_{last}}{\tau})S(x,y,t)=exp(−τt−tlast)，衰减记忆图 | 保留局部时间信息 | 需选τ参数 | 光流估计、特征追踪 |
Time-Surface核心：像素值=事件"新鲜度"，τ控制衰减率→越小越敏感
9.3 语音信号处理应用
三个子任务
| 任务 | 目标 | 输出 |
|---|---|---|
| 语音活动检测（VAD） | 判断是否有人声 | 二分类：Voice/Non-voice |
| 语音命令识别 | 判断用户说的哪个短命令（Up/Down/Left等） | 多分类 |
| 声源定位 | 判断声音从哪个方向来 | 角度类别（1°-360°） |
信号预处理
- STFT（短时傅里叶变换）：语音→时频谱
- Mel滤波器组：按Mel尺度划分频带（符合人耳对低频敏感的特性）
- GCC-PHAT（广义互相关相位变换）：多麦克风相位差→提取声源方向时延特征
笔记中的图片索引
| 序号 | 图片内容描述 | 来源位置 |
|---|---|---|
| 图1 | 比亚迪闪拍摄像头发布会 | 课件910 第3-4页 |
| 图2 | 事件相机工作原理（log亮度变化） | 课件910 第9页 |
| 图3 | 传统相机vs事件相机输出对比 | 课件910 第10页 |
| 图4 | 差分型vs积分型对比 | 课件910 第11页 |
| 图5 | 事件相机应用场景 | 课件910 第12页 |
| 图6 | 事件流编码方法对比 | 课件910 第15-17页 |
| 图7 | 语音处理三任务框架 | 课件910 第19页 |
笔记整理时间：2026年6月25日