一、从“信息”这个词说起信息论是通信的数学理论应用近代数理统计方法研究信息的传输、存储与处理它是随着通信技术的发展而形成和发展起来的一门新兴的交叉学科。信息论创立的标志是1948年香农发表的论文《通信的数学理论》。《信息论基础》信息的概念为什么要学信息论在我们现代信息化生活中处处与信息相关我认为不了解信息在日常生活中将会处处碰壁我们不能建起高高的“信息围墙”将自己困在“城中”身边的信息有什么从日常场景说小一点手机发信息、视频通话、图片压缩、Wi-Fi信号大的G5通信、数据压缩、AI大模型。我们每天都在用信息信息是什么能不能被测量信息是对客观事物状态、特征和变化的反映能够被感知、传递和处理用来消除不确定性。简单说信息就是让你从不知道变成知道的东西。二、信息论解决什么问题信息论是研究信息的度量、传输与处理的数学理论。它回答三个问题1.信息如何度量一条消息包含多少“信息”能不能用一个数值来精准衡量2.信息能压缩到什么程度数据的冗余有多少压缩的理论极限在哪里3.信息能传输多块、多可靠在有噪声的信道中无差错传输的速率上限是多少三、信息论的诞生与发展信息论诞生溯源到1948年美国数学家克劳德·艾尔伍德·香农Claude Elwood Shannon在杂志《贝尔系统技术杂志》上发表了划时代论文——《通信的数学理论》宣告新学科——信息论的诞生。同时香农也被称为信息论创始人。这篇论文首次建立了通信过程的数学模型给出了信息的定量度量方法并证明了信源编码定理和信道编码定理。从此通信工程从一门依赖经验和直觉的技术变成了一门有严格数学基础的科学。3.1相关人物哈特利Ralph Hartley美国贝尔实验室工程师,1928年发表《信息的传输》最早提出用对数公式度量信息。哈特利认为从N个可选符号中选出一个信息量是 log N。只考虑符号数量不考虑各个符号出现的概率。也是第一次把“信息”这个抽象概念做数学量化是香农信息熵的思想前驱。信息量单位 哈特hartley以10为底对数。奈奎斯特Nyquist 瑞典裔美国贝尔实验室物理学家1924年研究电报信号传输推导出奈奎斯特码元速率准则带宽W的无噪声信道最高码元速率R_s2W。后来发展出奈奎斯特采样定理是数字信号处理基石。与之相比奈奎斯特研究码元传输极限香农公式研究信息比特传输极限所有数字通信、ADC模数转换都离不开采样定理。Shannon 克劳德·香农Claude Elwood Shannon仙农美国数学家、工程师信息论之父1948年《通信的数学理论》标志信息论诞生。核心成果1. 信息熵H(X)描述随机信源不确定性2. 香农信道容量公式 CW\log_2(1S/N)3. 三大编码定理无失真信源编码、信道编码、限失真信源编码。在其他地方的成就硕士论文奠定数字电路布尔代数基础是现代计算机理论重要先驱。一句话评价他把通信从工程经验变成严谨数学理论。Kolmogorov 安德雷·柯尔莫哥洛夫Andrey Kolmogorov苏联顶级数学家概率论大师他建立概率论公理体系同时提出柯尔莫哥洛夫复杂度算法信息量。其核心思想是一段字符串的信息量 能输出该字符串、然后停机的最短计算机程序长度。和香农熵区别是香农熵基于概率统计柯氏复杂度从算法描述定义信息不需要概率分布。其应用主要为算法信息论、随机性判断、AI序列分析。Kullback Leibler 库尔贝克Solomon Kullback、莱布勒Richard Leibler两位美国统计学家在1951提出KL散度相对熵其含义了衡量两个概率分布p、q之间的差异表示用分布q代替真实分布p带来的信息损失。研究出重要性质为KL散度不对称D_{KL}(p||q)D_{KL}(q||p)因此不是数学上的距离。其现代用途为深度学习、机器学习、变分自编码器、模型损失函数。3.2信息论的发展脉络经典信息论1948~1960s├── 信息熵与信息的度量├── 信道容量与编码定理└── 率失真理论广义信息论1960s~2000s├── 统计通信与信号处理├── 检测与估计理论└── 网络信息论多用户通信现代信息论2000s~至今├── 与机器学习的深度交叉交叉熵、信息瓶颈、变分推断├── 量子信息论└── 大数据与分布式信息处理可以看到信息论并非停滞不前的学科从5G通信标准设计到ChatGPT等大模型训练时使用的交叉熵损失函数信息论的思想始终活跃在技术前沿。四、通信模型1948年香农在论文中提出了一个通用通信系统模型这个模型至今仍是理解一切通信过程的起点。4.1通信系统模型图片出自课本 图1.24.2信息论从诞生到现在虽然只有短短几十年的时间但它的发展对学术界和人类社会的影响非常广泛和深刻。如今信息论的研究内容不仅包括通信系统还包括所有与信息有关的自然和社会领域如模式识别、计算机翻译、心理学、遗传学、神经生理学、语言学语义学甚至社会学中有关信息的问题。香农信息论迅速发展成为涉及范围极其广泛的广义信息论一信息科学。《信息论基础》通信系统模型通信系统包括包括以下部分1信源信源是产生信息的源头。信源输出的可以是文字、语音、图像、传输器数据等。信源数信息的来源但它不直接输出信息。信源输出的是信息的载体一一消息如一段文字、一幅图画、一首歌和一段视频等。消息有各种不同的表现形式文字、符号、语言、图片、图像、音频和视频等都是载荷信息的消息类型。消息能以通信双方(信源和信宿)都能理解的形式进行传递和交换。消息携带信息是信息的载体。按输出信号特征可分为离散信源-输出离散符号序列如文本每个字符来自有限字母表连续信源-输出连续信号如语音波形、传输模拟信号。2编码器编码器将信息变为符号或者对应的符号序列。可分为信源编码目的是压缩数据减少冗余原理为去除信源输出中的统计冗余用尽可能少的符号表示信息。例zip压缩、jpeg图像压缩等信道编码目的是增加冗余提高抗干扰能力原理为在信息比特中按一定规则添加校验比特使接收端能检测甚至纠正传输错误。例Hamming码、卷积码等。3信道信道是信号从发送端传输到接收端的物理媒介按是否有噪声可分为无噪声信道-理想信道信号传输过程中不会失真有噪声信道-实际信道信号受到噪声干扰。常见信道模型包括4调制器调制器负责将编码器输出的符号转换为适合信道传输的信号、目的是提高效率。例0和1两个符号经过调制器后变换为两个电平信号。5解码器解码器执行编码逆操作信道解码利用编码时添加的冗余信息检查纠正传输错误信源解码将压缩后的数据恢复为原始信息。6信宿信宿时信息的最终接收者可以是人听到声音看到图像或机器计算机存储控制系统执行指令五、总结信息论由香农于1948年创立研究学习的度量、传输与处理核心模型为通信系统信源→编码器→信道→解码器→信宿噪声干扰传输。信源编码压缩冗余追求效率信道编码增加冗余追求可靠性。信息熵度量信源不确定性信道容量决定无差错传输的速率上限。两大编码定理分别给出压缩和输出的理论极限。信息论广泛应用于通信、数据压缩、机器学习和密码学邻域