企业官网建设流程全解析

离散平稳信源总体定义

1.离散平稳信源要求任意N维联合分布和时间起点无关
严格平稳信源条件苛刻实际很难满足
工程上常用有限维离散平稳信源

2 一维离散平稳信源
N等于1时平稳性退化为一维先验概率和时间无关

3 二维离散平稳信源
N等于2时平稳性退化为一维概率和二维联合概率与时间起点无关
等价判定条件为一维概率相等一阶条件概率和时间起点无关

4 m维有限离散平稳信源
N取有限正整数m
一维直到m-1阶条件概率全部和时间起点无关



P[Xi+m-1 | Xi+m-2 … Xi] = P[Xj+m-1 | Xj+m-2 … Xj]

5 离散多符号信源信源熵说明
信息熵也就是信源熵代表离散单符号信源的平均不确定程度
多符号序列需要引入平均符号熵衡量序列中单符号平均信息量

6 平均符号熵定义
针对长度为N的随机序列X等于X₁X₂…X_N

7 极限熵定义又称熵率
N趋向无穷大时平均符号熵的极限

离散平稳无记忆信源基础特点

8.属于平稳随机序列
前后符号取值相互独立
可以看作单符号无记忆信源的N次扩展也就是扩展信源
符号来自同一个样本空间

9 N次扩展信源定义
原始信源符号集为A
N维随机矢量X等于(X₁ X₂ … X_N)
矢量内每一个分量都取自符号集A
每一个分量独立取自原始信源

10 扩展信源基础含义
二次扩展信源是二维随机矢量两个元素取自同一符号集
三次扩展信源是三维随机矢量三个元素取自同一符号集
N次扩展信源是N维随机矢量N个元素取自同一符号集

11 离散无记忆二进制信源二次扩展实例
二次扩展后产生四个扩展符号α₁ α₂ α₃ α₄
α₁对应00 α₂对应01 α₃对应10 α₄对应11
p(α₁)=p(00)=p(0)p(0)
p(α₂)=p(01)=p(0)p(1)
p(α₃)=p(10)=p(1)p(0)
p(α₄)=p(11)=p(1)p(1)

12 无记忆扩展信源概率特点
扩展符号的联合概率等于各个原始符号概率相乘

1 离散平稳无记忆信源 信源输出序列是平稳随机序列 序列中各个符号相互独立 前后符号取值无关 可看作原始单符号信源进行 N 次扩展得到新扩展信源
2 扩展信源含义 扩展信源由单符号信源扩展生成新信源 二次扩展信源为二维随机矢量 两个元素取自同一信源符号集
3 三次扩展信源为三维随机矢量 三个元素取自同一信源符号集
4 N 次扩展信源定义 设信源 X 的信源符号为 N 维随机矢量随机矢量内各分量取自同一个符号集 𝒜这类信源称作 N 次扩展信源
5 N 次扩展信源各分量含义代表第 i 个信源符号 每个取值都来自原始信源符号集 A 一个扩展符号由𝒜内 N 个基本符号组合而成
6 离散无记忆二进制二次扩展信源 由离散无记忆二进制信源经二次扩展得到 共有四个扩展符号
7 二次扩展信源记作 X^2 由取自基本符号集的两个基本符号组合构成
8 二次扩展信源数学模型

9 二进制二次扩展各符号概率

10 消息符号顺序标记规则 符号右上角带圈数字代表信源发出消息符号的顺序 x_i 代表单符号信源发出的第 i 个消息符号 y_i 代表二次扩展信源发出的第 i 个消息符号
11 三次扩展信源每个消息符号包含三个基本符号 全部基本符号取自符号A
12 N 次扩展信源熵

13 平均符号熵

14 极限熵熵率

扩展信源信源熵定义

设离散信源 X 符号集为
N 次扩展信源 X^N 的信源熵
代表扩展信源里面第 i 个消息符号

2 离散无记忆信源 N 次扩展熵定理
离散无记忆信源 N 次扩展信源熵等于原信源熵乘以 N

3 证明方法一
相互独立
利用独立变量联合熵可加性

每个 H(X_i) 都等于 H(X)
相加得到
4 证明方法二
直接代入求和与概率乘积展开
利用无记忆条件
拆分对数求和再分别化简
最终得到 H(X^N)=N H(X)
5 平均符号熵
N 次扩展信源平均符号熵

6 熵率
取极限得到熵率

7 二进制三次扩展概率公式

马尔可夫信源引入目的

普通平稳有记忆信源关联全部历史符号计算复杂
工程限定只保留最近 m 个历史符号简化关联
属于离散平稳有记忆信源

2 m 阶马尔可夫性

当前符号概率仅依赖最近 m 段历史
更早历史不再产生影响

3 青蛙跳例题
青蛙向前后左右四个方向等概率跳动
下一时刻位置概率只取决于上一时刻位置
更早时刻位置不影响结果
用来直观解释马尔可夫性

4 马尔可夫链定义
设随机序列
状态空间 S=

当前状态仅由前一时刻状态决定

5 一步转移概率

从状态 i 在一步之后转移到状态 j
满足非负性

满足归一性

6 k 步转移概率

从状态 i 经过 k 步转移到状态 j
同样满足非负性和归一性

7 零步转移概率

也就是克罗内克函数

8 k 步转移矩阵

按行排列各个状态之间的 k 步转移概率
用来完整描述整个系统的转移规律

9 齐次马尔可夫链
如果转移概率不随起始时刻改变
就称为齐次马尔可夫链
是信息论里最常用模型

10 转移矩阵意义
转移矩阵整体刻画马尔可夫链状态演化
所有转移概率合在一起就可以预测系统长期变化
为后面平稳分布提供基础

齐次马尔可夫链定义

如果马尔可夫链的一步转移概率与起始时刻无关 满足

齐次马尔可夫链满足三条性质

一步转移矩阵

2 切普曼 柯尔莫哥洛夫方程 对齐次马尔可夫链有

矩阵形式

3 齐次马尔可夫链推论


齐次马尔可夫链的 m 步转移矩阵可由一步转移矩阵求取

4 k 步转移概率与转移矩阵

k 步转移矩阵

5 转移矩阵渐近性质 如果有限状态齐次马尔可夫链存在正整数 m 使得所有状态之间转移概率都大于零 则当转移步数趋于无穷时 各列全部相同

pi 每一行都等于平稳分布向量

7 平稳分布意义 如果满足条件 初始状态不影响最终平稳分布
系统最终所处状态概率与初始时刻无关
系统长期状态仅由一步转移矩阵决定

8 平稳分布唯一性 如果满足收敛条件 平稳分布 pi 具有唯一性

9 求解平稳分布例题 通过联立方程组和所有分量之和等于一 解出各个如果转移矩阵存在某次方后全部元素大于零 就一定存在平稳分布

1 马尔可夫信源两条判定条件
当前输出符号只和当前信源状态有关 和更早历史无关
公式

下一信源状态由当前输出符号和前一时刻信源状态唯一确定
公式

等于 1 如果属于合法集合
等于 0 如果属于其他情况

2 一阶马尔可夫信源
当前输出符号只依赖前一个输出符号
公式

3 一阶齐次马尔可夫信源
状态转移概率不随时间变化
公式

4 一阶齐次马尔可夫信源条件熵
所有相邻符号对的条件熵全部相等
公式

公式

5 N 次扩展信源平均符号熵
公式

当 N 等于 1
公式

当 N 等于 2
公式

一般形式
公式

公式

6 极限熵
公式

7 熵大小与单调性
大小关系

N 次扩展平均符号熵随 N 增大单调递增

8 二阶齐次马尔可夫信源
当前符号只依赖前面连续两个历史符号
公式

符号集大小为 Q 总状态数目等于 Q^2
用连续两个历史符号构成一个状态再执行状态转移

9 交通灯实例要点
符号集选取绿灯与红灯
一阶模型直接利用前一盏灯确定转移概率
二阶模型把连续两盏灯组合作为一个新状态再计算转移

10 例题数值


当 N 等于 100
公式

数值趋近极限熵