ROS2知识点整理
2026/10/24 4:46:47
先验概率和后验概率
1.后验概率
贝叶斯公式所计算的概率就是后验概率：事件B发生后，触发B发生的第i个原因ai发生的条件概率p(ai|B)。也就是求解信源发出符号的概率。
例 求解信源发出符号的概率
已知二元信源等概率发出符号{0，1}
信源发出符号0：信宿接收到符号为0的概率0.6，信宿接收到符号为1的概率0.4
信源发出符号1：信宿接收到符号为0的概率0.2，信宿接收到符号为1的概率0.8
信源发出符号设为x1=0，x2=1；信宿接收到的符号设为y1=0，y2=1
先验概率p(x1)=p(0)=0.5，p(x2)=p(1)=0.5
条件概率：p(y1|x1)=p(0|0)=0.6，p(y2|x1)=p(1|0)=0.4；p(y1|x2)=p(0|1)=0.2，p(y2|x2)=p(1|1)=0.8
求：信宿接收到的符号为1，计算信源发出符号为0的概率P(x1|y2)
根据贝叶斯公式：
p(x1|y2)=p(x1)p(y2|x1) / [p(x1)p(y2|x1)+p(x2)p(y2|x2)]
同理，可求得p(x2|y2)。结果符合常理，在所发符号等概率的情况下，信源符号1变为信宿符号1的概率大，则当接收到的符号为1时，自然可以断定此符号来自信源符号1的可能性较大。
2.先验概率：是指某一事件B本身所具有的随机性程度，是不依赖其他事件而得到的一个统计量；
后验概率正好相反，需要根据其他事件的发生情况来推测事件B的分布，是一个条件概率。 离散随机变量
1.随机变量的概念
定义随机变量
设E是一随机试验，其样本空间Ω={ω}。若对每个样本点ω∈Ω，总存在一个实数X与之对应，则可以得到一个从样本空间Ω到实数集R的单值实函数 f(ω)=X，X(ω)称为随机变量。由于自变量肯定是样本点ω，一般省略不写，简记为X。
随机变量通常用字母X,Y,Z或者希腊字母ξ,η等表示。随机变量的取值通常用字母x,y,z等表示。
有些随机变量的取值很自然地为数值，但有些随机变量的取值并不是很明显，此时可以进行映射，将随机变量的取值映射为实数。例如抛掷硬币试验中，可对样本点ω做简单映射：ω=正面朝上 → 0；ω=反面朝上 →1。
实际上，样本空间与实数集间的映射可以是多重的，因为随机变量本身就定义为样本点与实数之间的映射关系，多重映射可归一为一重映射关系。图2.3较为直观地解释了随机变量与样本点之间的函数关系。
例2.4 获得奖励的概率
已知小学生春风和耙耙玩掷骰子游戏，每人掷两次骰子并求和。经过协商，春风和耙耙制定了如下的游戏规则：
（1）两骰子点数之和为12，奖励1双舞蹈鞋；
（2）两骰子点数之和为11，奖励1个皮卡丘；
（3）两骰子点数之和为10，拍对方两下。
求获得各种奖励的概率。
我们发现，所要求取的概率是一些基本事件（掷一次骰子结果为1,2,…,6）的函数。例如，对于拍对方两下这样的“奖励”，我们更关心的是点数之和为10，而不是(5,5)或者(4,6)或者(6,4)这样的组合。由上述例子可知，随机变量的值是由随机试验的结果决定的，从数学上而言，随机变量的值是样本空间（随机试验的结果组成了样本空间）上所定义的一个函数。
2.离散随机变量与累积分布函数
尽管随机变量的值域是实数集R，但有些值域确实是具有一些特殊性质的实数集，例如例2.4中值域局限于集合{2,3,…,12}，类似这类的随机变量定义为离散随机变量。
分布函数F(x)是随机变量X的累积分布函数，性质：
（2）F(x)是x的非减函数；
（3）lim P{X≤x}=F(x)
（4）lim P{X≤x}=F(x)
离散随机变量
1.数学期望
定义2.9 离散随机变量
设一离散随机变量，数学期望定义为，实际应用中更关心的是群体的情况，观察的是随机变量集合的函数，其函数的数学期望。
离散随机变量
取值为有限个或者无限但可数这样的随机变量称为离散随机变量。
无限但可数表示集合中的元素可以与正整数建立一一对应关系。例如，正整数集合就是最简单的无限可数集。
对于离散随机变量，其随机性的描述既可以利用样本点的概率，也可以利用累积分布函数（Cumulative Distribution Function，CDF）。
累积分布函数
对于离散随机变量X以及任意实数x(-∞ < x < +∞)，
F(x) = P[X ≤ x]
F(x)称为离散随机变量X的累积分布函数，简称分布函数。
分布函数F(x)是随机变量X取值小于或等于x的概率，性质：
（1）分布函数F(x)是随机变量X取值小于或等于x的概率
（2）F(x)是x的非减函数
（3）lim(x→+∞) P[X ≤ x] = F(+∞) = 1
（4）lim(x→-∞) P[X ≤ x] = F(-∞) = 0
定义2.8中的概念可以推广到一般情形（并不仅限于离散随机变量），即对所有类型的随机变量，可以定义
F(x) = P[X ≤ x]
F(x)称为随机变量X的累积分布函数。
离散随机变量的统计特性
离散随机变量X的概率分布p(x)描述了随机变量取某一具体值时的随机性，但在实际应用中更关心的是群体的平均分布情况。例如，某地PM2.5的年平均浓度会比某一天PM2.5的浓度更能反映当地的空气水平。年平均浓度等概念属于随机变量的统计特性，考察的是随机变量集合的分布情况。对于离散随机变量而言，常用的统计特性有数学期望及其函数的数学期望。
数学期望
定义2.9 离散随机变量的数学期望
设一离散随机变量，其概率分布为p(xn)(n=1,2,…,N)，则离散随机变量X的数学期望定义为
由定义可知，离散随机变量X的数学期望就是X可能取值的加权平均，其加权权重就是对应的概率。
两个离散随机变量的数学期望
由定义2.9可以很自然地推广到两个离散随机变量的情况。
定义2.10 两个离散随机变量的数学期望
已知离散随机变量X和Y的联合分布p(xi yj)(i=1,2,…,N;j=1,2,…,M)，则离散随机变量XY的数学期望为
离散随机变量函数的数学期望
在一些实际应用中，人们更关心的不是离散随机变量本身的数学期望，而是其函数的数学期望。例如，身高X是一离散随机变量，先简单认为一个人的饮食支出Y与身高可以建立关系Y = f(X)。由于X是离散随机变量，Y的取值与X有关，因此Y也是离散随机变量，其数学期望E[Y]与离散随机变量X有关。
定义2.11 离散随机变量函数的数学期望
已知离散随机变量X的概率分布p(xi)(i=1,2,…,N)，则X函数f(X)的数学期望为
2.信息量度量方法的引入
消息所含信息量的多少与消息发生的概率有关，概率相差悬殊的两则消息，所含信息量差异明显。
信息量公理化条件：
（1）越不可能的消息，包含的信息量越多。
（2）确定无疑的消息，包含的信息量为零。
（3）消息发生的概率越大，信息量越少；反之亦然。
若要更加理论化一点，则随机事件信息量的定义应该满足如下的公理化条件：
（1）信息量是随机事件概率的严格递减函数。即发生概率越小，事件发生的不确定性越大，则所包含的信息量越多。
（2）极限情况下，若随机事件发生的概率为1，则事件所包含的信息量为0；若随机事件发生的概率为0时，则事件所包含的信息量为无穷大。
（3）若两个不同的随机事件相互独立，则这两个事件所包含的信息量应该是单个随机事件所包含信息量的和，即信息量应该满足可加性。
满足上述公理化条件的简单函数是存在的，利用对数函数刻画信息量的性质。
自信息量和信息熵
自信息量的定义与含义
自信息量的定义
设离散随机变量 X 的概率分布为，则随机事件 X=xi 的自信息量记为 I(xi)，其表达式为
I
上述定义中，对数运算的底为 a，它决定了自信息量的单位。
自信息的单位与换算
a=2：单位定义为比特（bit），工程上常用此单位。
a=3：单位定义为哈特，不常用。
a=e：单位定义为奈特（nat），理论推导时常用（注：e 为自然常数）。
a=10，单位定义为笛特（det）或者哈特（hart），不常用。
具有不同单位的在自信息量度量的是同一个物理量，所以自信息量各单位之间有一定的换算关系。
换算关系：
求取消息的自信息量
已知一信源可以发出0、1、2和3四种符号，每种符号发出的概率为0.5、0.25、0.125和0.125。假设相邻符号是独立发出的，现收到此信源发出的一则消息01023013，求此消息包含多少自信息量。
解：设信源发出的消息用随机变量 x 表示，符号0、1、2和3的发生概率分别用 p(0)、p(1)、p(2) 和 p(3) 表示。当 x=01023013 时，由于相邻符号相互独立，此消息的发生概率为
根据自信息量公式，可以求得此消息所包含的自信息量为
例2.7 陨石与大奖
已知两个随机事件 x 和 y 及其发生概率 p(x) 和 p(y)：
x 表示千万大奖砸中行人且 p(x)=10^{-7}；
y 表示太空陨石砸中行人且 p(y)=10^{-7}。
求上述两个随机事件所包含的自信息量。
解：
自信息量含义
（1）发生前事件的不确定性。必然发生的事件，自信息量为零，没有不确定性。自信息量越小，发生概率越大，预测事件越发困难，事件的不确定性越大，反之亦然。
（2）发生后事件提供的信息量。就通信系统而言，自信息量是信源通过随机事件（消息）要传递给信宿的信息量。必然发生的消息，信宿无须信源传递而自知，此类消息所提供的信息量为零；发生概率越小，信宿越感意外，所传递的信息量越多，反之亦然。
（3）信息论中的自信息量概念与日常生活中的信息概念有较大差别。信息论中的自信息量概念实际是信息表示、传输和恢复时对消息不确定性的要求，与消息或者随机事件本身的含义或内容无关；而日常生活中的信息概念，则是消息所要表达的内容或含义。
（4）自信息量只与随机性有关。随机性相同的两则消息，自信息量相同，而与其含义无关。
3. 联合自信息量与联合熵
前置规定
规定
如果存在概率趋于零的随机变量，则其他所有随机变量发生的概率趋于1，整个随机变量集合可以分为不可能事件和必然事件，不可能事件的概率趋于1时，随机变量集合的信息熵为零，应有，尽管零概率随机变量的自信息趋于
，
自信息量的概念可以推广到多个随机变量的情形，信息熵也可以推广到多个随机变量集合的情形
联合自信息量
定义2.15 联合自信息量
联合随机事件集合XY中，联合事件的联合概率为
，此联合事件所包含的联合自信息量定义为
对数运算的底数决定了联合自信息量的单位
该定义是定义2.11的自然推广，当研究两个随机变量同时发生所具有的自信息量时，可以得到联合自信息量的概念
例题 例 求取联合自信息量
已知狗穿过迷宫去啃骨头，狗等概率选择迷宫入口，经过多次试验统计结果
随机变量x表示狗选择的迷宫入口，随机变量y=1表示狗啃到骨头
联合概率
分别求狗从各个入口出发并且啃到骨头这个联合事件所包含的信息量
定义多维随机矢量的联合自信息量
设x为N维随机矢量，此随机矢量的自信息量定义为
联合自信息量的含义
若把联合事件xy看作一个事件z=xy，则两个随机变量的联合自信息量，其含义与自信息量相同
若把随机矢量看作一个事件 z=
，则其联合自信息量的含义与自信息量相同
例题 例 二元随机矢量
已知现有N维二元随机矢量，随机变量独立同分布，符号的概率为，求符号序列的自信息量
所求自信息量为联合自信息量，根据公式
由于符号独立同分布，所以
代入得到
2.4.2 联合熵
与自信息量一样，联合自信息量也是随机变量，因此也可以定义联合事件集合上的平均联合自信息量
联合熵
联合集合XY上，联合自信息量的数学期望定义为联合熵
式中，
，联合熵又称为共熵
例题 例求取联合熵
求例2.10中迷宫入口集合X和狗啃骨头集合Y的联合熵H(X,Y)
迷宫入口随机变量X的概率空间，狗啃骨头随机变量Y的概率空间
联合熵
逐个计算全部联合概率 p(xy)=p(x)p(y|x)，代入公式计算得到 H(X,Y)=3.06 比特/狗穿过一次迷宫去啃骨头
序列熵
定义可以推广到多个离散随机变量集合的情况，从而得到序列熵
联合集上，联合自信息量
的数学期望定义为序列熵
式中
从定义可以看出，序列熵就是N个随机变量集合的联合熵，N个离散随机变量可以组成一个离散随机变量序列，序列中的任一分量 x_i 为随机变量，取值于集合 X_i
序列熵的单位为/序列，如果以2为底取对数，则表示比特
由分析可知，定义2.17所定义的联合熵，其实是N=2情况下的序列熵
4.条件自信息量、条件熵、互信息量
条件自信息量
例：信源符号的条件自信息量
已知二元离散信源输出0和1两种符号，输出规则如下
若当前发出符号0，则下一个符号是1的概率为0.25
若当前发出符号1，则下一个符号是1的概率为0.125
求信源在上述两种情况下各发出了多少信息量
解：上述两种情况都是条件事件，因此所求的信息量为条件自信息量。设表示当前发出的符号，
表示信源发出的下一个符号，因此有
通过这个实际例子可以看到条件自信息量有下面的一些含义
条件自信息量与自信息量的含义类似，只不过概率空间有所变化
条件自信息量也是随机变量
在某个事件x给定的条件下，另一个事件y所具有的不确定程度
在某个事件x给定的条件下，另一个事件y所包含的自信息量
与自信息量相同，式(2.18)中对数运算的底决定了条件自信息量的单位
条件熵
自信息量的集合平均（数学期望）定义为信息熵，联合自信息量的集合平均定义为联合熵，则条件自信息量的集合平均可以定义为条件熵。
定义条件熵
联合集合XY上，条件自信息量I(y|x)的概率加权平均（即集合平均，亦即数学期望）定义为条件熵
例2 信源的条件熵
已知信源X和信宿Y的符号集均为{0,1}。信源发出符号0的概率为2/3；信源发出符号0后信宿接收到符号0的概率是1/2；信源发出符号1后信宿接收到符号1的概率是1/3。
求条件熵H(Y|X)和H(X|Y)。
解：随机变量X表示信源X发出的符号，其取值分别为x1=0和x_2=1；随机变量Y表示信宿Y接收的符号，其取值分别为y_1=0和y_2=1。根据已知条件可得
此题中有两个符号集和四个随机事件
符号集：和
事件1：
事件2
事件3：
事件4：
这四个随机事件均为条件事件，根据物理意义可以将其划分为两类
条件事件：信源X发出符号0时，信宿Y所接收到的符号为随机事件x1和随机事件x2，包含了信宿Y所有可能的符号，故可定义条件事件x1下符号集Y上的平均条件自信息量，即
由于)是在随机事件x_1发生的条件下得到的，因此H(Y|x1)是一随机变量，其发生的概率为条件事件x_1的发生概率
。根据自信息量定义可得
比特/条件事件
条件事件x_2：同理，可以求得条件事件x_2下符号集Y上的平均条件自信息量，即比特/条件事件
同理，平均条件自信息量H(Y|x_2)也为一随机变量，其概率为p(x_2)。
现在又建立了一个新的随机变量H(Y|X)，这个新的随机变量可以看作随机变量X的函数，因此其概率空间为
可以求取随机变量平均条件自信息量H(Y|x)在集合X上的集合平均，从而得到条件熵，即
计算结果：H(Y|X)=0.97比特/符号
互信息互信息量是信息论中非常重要的一个概念，也是一个难点。为了引出互信息量的定义先讨论下面的问题。
例2.15 互信息量的引入
已知随机变量x和y之间的关系有下面两种情况
(1)y=2x+1
(2)x表示东非大草原上的河马甲在喝水，y表示阳澄湖中大闸蟹乙在洗澡。
假设定义函数f(x,y)=I(x)-I(x|y)，求上述两种情况下所对应的函数值。
解：将I(x)和I(x|y)的表达式代入函数f(x,y)的表达式中，可得
当y=2x+1时，随机变量x与随机变量y具有一一对应的关系，即若y=y_1，则的概率为1。由此可得
非州草原上的河马甲与阳澄湖大闸蟹乙之间完全没有关系，它们的活动相互独立，因此p(x|y)=p(x)，则有
结果分析
随机变量间具有一一对应的关系。从概率论的角度，若两个随机变量间可以建立一一对应的关系，则这两个随机变量的发生概率相同，具有相同的概率分布，等同于一个随机变量。
例如前述的关系y=2x+1：假设随机变量x的概率空间，则随机变量y的概率空间。这两个概率空间中，除了随机变量取值不同以外，概率分布是完全相同的。也就是说，可以建立一一对应关系的两个随机变量，概率分布、不确定程度和自信息量完全一样。这意味着可以从其中任何一个随机变量的分布情况，推测另外一个随机变量的分布。在这种情况下，可以表示其中任何一个随机变量的自信息量。
两个随机变量独立。随机变量间独立，意味着随机事件之间的发生没有任何关系，其分布没有任何交集，不能从一个随机变量的分布情况推测另外一个随机变量的分布。在这种情况下，函数
结论：函数f(x,y)=I(x)-I(x|y)揭示了两个随机变量之间相互依赖的程度，反映了两个随机变量相互之间可以推测对方分布的程度，即自信息量中相同的部分，此部分定义为互信息量。
互信息量
两个随机事件x和y之间的互信息量定义为
互信息量的单位与自信息量单位相同，取决于对数运算的底。
互信息量的推广
式(2.20)中的互信息量定义在二维随机空间上，但可以推广到三维随机空间。
联合集XYZ中，在给定事件z的条件下，事件x与y之间的互信息量定义为条件互信息量
设三维随机空间XYZ中的随机事件x、y和z，其互信息量定义为I(x;yz)。根据式(2.20)可得
互信息量的性质
互信息量可为零
当随机变量x和y相互独立时，由互信息量定义可得I(x;y)=0
任意两个随机事件之间的互信息量。互信息量是两个随机事件的自信息量。
互信息量可正可负
互信息量与平均互信息量 知识点汇总
互信息量性质
互信息量表示两个随机事件相互依赖的程度。若这两个随机事件分别是信源符号和信宿接收符号，则互信息量表示这两个符号相互依赖的程度，即信息传输得到定量描述，这是信息论发展的一个重要里程碑，因此对互信息量性质的了解和掌握非常重要。
1. 互信息量具有互易性
互信息量具有互易性，即下列公式成立：
I(x;y)=I(y;x)
证明：根据式(2.20)可得
如前所述，互信息量I(x;y)表示两个随机变量x和y所包含的相同自信息量，而互信息量I(y;x)表示的也是随机变量y和x所包含的相同自信息量。相同的那部分自信息量自然是相等的，因此具有互易性。
换一个角度讲，从随机变量y的分布可以得到的随机变量x的自信息量I(x;y)与从随机变量x的分布可以得到随机变量y的自信息量I(y;x)是相等的。
2. 互信息量可为零
当随机变量x和y相互独立时，I(x;y)=0。
3. 任意两个随机事件之间的互信息量不大于单一随机事件的自信息量
由互信息量定义可得
既然互信息量是两个随机事件自信息量中相同的部分，部分就要小于整体（单个随机变量的自信息量）。
4. 互信息量可正可负
例2.16 两只荡秋千的猫（单独板块，可直接复制）
已知胖头鱼和小米粥两只猫荡秋千，由于分心的事情太多，两只猫会从秋千上掉下来。假设两只猫掉下来的概率均为0.5；同时，由于重量不同，胖头鱼垂直掉落（掉落）的概率为0.9，小米粥甩下落（甩落）的概率为0.7。
求从秋千上掉下来的猫和掉下来的方式（掉落或甩落）之间的互信息量。
（1）建模。随机变量X表示坠落的猫，有两种情况：x_1=胖头鱼，x_2=小米粥。
随机变量Y表示坠落方式，有两种情况：y_1=掉落，y_2=甩落。根据已知条件可得7
（2）坠落方式的概率分布。根据式(2.4)可得
p(y_2)=1-p(y_1)=0.4
（3）坠落的猫和坠落方式之间的互信息量。
x_1=胖头鱼 与 y_1=掉落 之间的互信息量：
x_1=胖头鱼 与 y_2=甩落 之间的互信息量：
x_2=小米粥 与 y_1=掉落 之间的互信息量：
x_2=小米粥 与 y_2=甩落 之间的互信息量：
结论：由此可见，互信息量取值负是有可能的。
2.5.5 平均互信息量
根据式(2.20)，互信息量仍然是一个随机变量，可以在集合上定义此随机变量的集平均，从而引入平均互信息量的概念。
定义2.22 平均互信息量
离散随机事件集合X和Y上，互信息量I(x;y)的数学期望定义为平均互信息量：
两个随机变量x和y的互信息量I(x;y)表示这两个随机变量共有的信息量，或者说从一个随机变量获得的另外一个随机变量的信息。那么，对于集合X和Y而言，平均互信息量则表示接收到集合Y中的所有消息后获得的关于集合X的平均信息量，即集合X和Y共同具有的信息量。
2.平均互信息量的物理意义
(1)I(X;Y)=H(X)-H(X|Y)
证明：根据定义
式中：H(X)表示随机变量X本身具有的不确定性；H(X|Y)表示在接收到随机变量Y的所有符号后，随机变量X仍然具有的不确定性。
式(2.25)为随机变量X在两种情况下不确定程度的减少量，因此I(X;Y)表示在接收到Y所有符号后获得的随机变量X的平均信息量。
(2)I(X;Y)=H(Y)-H(Y|X)
同理，可以证得
I(X;Y)=H(Y)-H(Y|X) \quad(2.26)
式中：H(Y)表示随机变量Y本身所具有的不确定性；H(Y|X)表示在发送完随机变量X的所有符号后，随机变量Y仍然具有的不确定性，这种不确定性是由信道中的噪声造成的。
3.平均互信息量的性质
（1）非负性
证明：
平均互信息量具有非负性，说明两个随机变量所共有的信息量大于或等于零。
两个随机变量相互独立时，平均互信息量为零，即
I(X;Y)=0 \quad(2.28)
当随机变量X和Y相互独立时，不能从一个随机变量获得另外一个随机变量的任何信息。
（2）互易性（对称性）
I(X;Y)=I(Y;X) \quad(2.29)
证明：
互易性表示从集合Y中获得的X的信息量和从集合X获得的Y的信息量相等。
平均互信息量与各类熵关系：
I(X;Y)=H(X)-H(X|Y)
=H(Y)-H(Y|X)
=H(X)+H(Y)-H(XY)
证明：已经证得I(X;Y)=H(X)-H(X|Y)，现求证I(X;Y)=H(X)+H(Y)-H(XY)
由信息熵的可加性可知
H(XY)=H(X)+H(Y|X)
I(X;Y)=H(X)-H(X|Y)=H(X)+H(Y)-H(XY)
（3）极值性
I(X;Y)\le H(X)
I(X;Y)\le H(Y)
证明：因为 I(X;Y)=H(X)-H(X|Y)，而条件熵H(X|Y)非负，故而I(X;Y)\le H(X)；同理可证得I(X;Y)\le H(Y)。
例2.17 抛硬币与掷骰子
已知掷骰子，若结果是1、2、3或4，则抛一次硬币；若结果是5或6，则抛两次硬币。
求从抛硬币的结果可以得到多少抛骰子的信息量。
解：本题的原意是根据抛硬币出现正面的次数Y来获取骰子结果X的信息。
定义随机变量：
X=0，表示骰子的结果是1、2、3、4
X=1，表示骰子的结果是5、6
Y=0，表示抛硬币出现0次正面
Y=1，表示抛硬币出现1次正面
Y=2，表示抛硬币出现2次正面
随机变量X的概率空间为
条件概率矩阵为
随机变量Y的概率分布
随机变量Y的信息熵为
=(\text{比特/符号})
条件熵为
=
=1.166(\text{比特/符号})
根据式(2.26)可得平均互信息量为
I(X;Y)=H(Y)-H(Y|X)=1.325-1.166=0.159(\text{比特/符号})
即从抛硬币结果获得的关于掷骰子的平均信息量为0.159bit。