企业官网建设流程全解析

一、核心概念：自信息与信息熵

这是本章的地基，必须吃透定义与物理含义。

1. 自信息量

· 定义：事件 x_i 发生所含的信息量 I(x_i) = -\log p(x_i)。
· 物理意义：事件发生前，表示该事件发生的不确定性；事件发生后，表示该事件所提供的信息量。必然事件 p=1 信息量为 0；概率越小，信息量越大。
· 单位：以 2 为底是比特（bit），以 e 为底是奈特（nat），以 10 为底是哈特莱（Hartley）。换算关系需留意（如 1 \text{ nat} = 1.443 \text{ bit}）。
· 易错点：自信息公式中的负号不可丢；概率必须满足归一化条件，否则熵的计算会出错。

2. 信息熵（平均自信息量）

· 定义：H(X) = -\sum_i p(x_i) \log p(x_i)，是自信息量在概率空间上的数学期望。
· 物理意义：信源输出前，信源的平均不确定性；信源输出后，每个符号提供的平均信息量；也表征信源的随机性程度。
· 重难点性质：
  · 极值性：离散信源在等概率分布时熵最大，H_{\max} = \log n。若概率分布不归一，极值性不成立（习题中常见陷阱）。
  · 确定性：只要有一个符号概率为 1，其余为 0，熵必为 0。
  · 对称性：概率向量元素交换顺序，熵值不变。
  · 可加性：独立事件的联合熵等于各自熵之和。

二、难点：互信息与条件熵

这一块是考试计算与证明题的高频区，核心在于理清“不确定性减少了多少”。

1. 条件熵

· 定义：H(Y|X) = \sum_x p(x) H(Y|X=x)，表示已知 X 后，Y 剩余的不确定性。
· 易错辨析：“条件使得熵减少” 指的是条件熵 H(Y|X) \leq H(Y)。注意，如果只是固定 X 的某个具体取值 x，得到的 H(Y|X=x) 未必小于 H(Y)；只有对所有 x 取平均后的条件熵才必然不大于原熵。

2. 平均互信息

· 定义：I(X;Y) = H(X) - H(X|