企业官网建设流程全解析

信息论基础 | 第1章 绪论

1.信息论的创始人

香农（Shannon），信息论之父。

2. 信息论诞生时间

1948年，香农发表了划时代论文《通信的数学理论》，标志着信息论正式诞生。

3. 三大基本概念

（1）消息

消息是接收信息的载体。
常见 形式：文字、语言、图像、符号、视频。

（2）信息

信息是事物运动状态或者存在方式的不确定性的描述。
特点：

• 具有随机性、不确定性
• 可以度量
• 已知消息不含信息

（3）信号

信号是消息的物理传输形式（电信号、电磁波）。

三者区别总结

信息是内涵，消息是外在形式，信号是物理载体。（教材内容总结）

4. 通信系统各组成部分详解

通信流程：信源 → 编码器 → 调制器 → 信道 → 解调器 → 译码器 → 信宿

• 信源：信息的来源，输出消息，消息的输出是随机的、不确定的，又具有一定的体积规律，可以用随机变量或者随机矢量等数学模型表示。
• 编码器：把消息变为符合或者符号序列，核心目标是提高数据的传输有效性。
• 调制器：将符号转换成能在信道里传输的物理信号，目的是提高传输效率（使远距离传输成为可能）；远距离传输一般要做载波调制。
• 信道：信息的传输通路，始于调制器终于调解器。
  • 狭义：架空明线、电缆、波导、光纤、无线电波；
  • 广义：还可以是其他类型的传输媒介；
  • 分析时常把系统各处的噪声和干扰等效为信道干扰。
• 解调器：调制器的反向操作，在接收端把收到的信号还原成符号。
• 译码器：位于信息的接收端，编码器的逆变换。
• 信宿：信息的接收方，可以是人或者设备。

5. 三种编码及其性能目标

• 信源编码
  • 目标：有效性
  • 作用：去除冗余、压缩数据
• 信道编码
  • 目标：可靠性
  • 作用：增加冗余、检错、纠错、抗干扰
• 加密编码
  • 目标：保密性
  • 作用：对信息做变换，防止未授权的对象获取信息内容

6. 信息的三个层次

• 语法信息：符号本身的排列、统计关系
• 语义信息：符号代表的内在含义
• 语用信息：信息对于接收者的实际作用、价值（拓展概念，补充知识点）

7. 信息论研究内容

信息论主要研究信息的度量、传输、存储、压缩、保密、纠错等问题，从定量的角度分析信息处理与通信的基本规律。

8. 信息论发展历程

1. 1924 奈奎斯特：带宽与传输速率关系
2. 1928 哈特莱：提出用对数函数度量信息的多少
3. 1948 香农：发表了奠基性论文，正式建立完整的信息论理论体系。