信道编码定理推导过程以及理论原理调研报告（P124302020向文杰）

一、基本问题引入1.1 通信中的核心矛盾信道存在噪声 → 传输会出错工程直觉速率越快误码越高可靠与高速不可兼得但香农 1948 年证明了颠覆性结论✅ 只要传输速率 R 小于信道容量 C就存在编码方式使误码率 → 0完全可靠传输❌ 一旦 R C无论什么编码误码率一定无法消除不可能可靠传输这就是 信道编码定理香农第二定理1.2 研究对象离散无记忆信道 DMC信道转移概率P(y|x)P(y_k|x_k)无记忆当前输出只与当前输入有关与历史无关。二、核心理论原理定理文字表述2.1 信道容量定义离散信道容量C\max_{P(x)} I(X;Y)物理意义信道能可靠传输的最大信息速率极限速率2.2 信道编码定理完整表述设离散无记忆信道容量为 C信息传输速率为 R1. 可达性正向定理若 C存在分组码当码长 n\to\infty 时P_e\to 0可以实现任意可靠的无差错传输2. 逆定理不可达性若 RC任何编码都不可能使误码率趋于0可靠传输不存在三、前置关键理论推导必备3.1 互信息链式性质I(X^n;Y^n)nI(X;Y)无记忆信道n次扩展信道互信息为单符号的n倍3.2 渐近均分性 AEP长码条件下- 典型序列概率趋于一致- 非典型序列总概率趋于 0AEP 是随机编码证明的核心工具3.3 费诺不等式逆定理核心H(X|Y)\le H(P_e)P_e\log|M|用于约束误码率下界四、信道编码定理详细推导满分标准4.1 正向可达 C 可可靠传输步骤1随机码构造随机生成 M2^{nR} 个码字\mathcal{C}\{x_1,x_2,\dots,x_M\}每个码字服从最优输入分布 P(x)步骤2典型译码准则接收端只译码 联合典型序列(x_i,y)\in T(XY)步骤3误码分为两类1. 发送序列非典型 → 概率趋近0AEP2. 存在其他码字与接收序列典型 → 错译步骤4错译概率上界推导对任意一对不同码字P(x_j \text{ 与 } y \text{ 典型}) \le 2^{-nI(X;Y)}总错译概率P_e \le 2^{nR}\cdot 2^{-nI(X;Y)}取接近容量的输入分布 I(X;Y)\to CP_e \le 2^{-n(C-R)}步骤5C)\lim_{n\to\infty} P_e 0✅ 正向可达性证明完成4.2 反向逆定理证明R C 不可能可靠传输步骤1数据处理不等式I(X^n;Y^n)\le nC步骤2互信息展开I(X^n;Y^n)H(X^n)-H(X^n|Y^n)信源编码H(X^n)nR步骤3代入费诺不等式H(X^n|Y^n)\le H(P_e)nR P_e可得nR - H(P_e)-nR P_e \le nC步骤4整理不等式R-C \le \frac{H(P_e)}{n}R P_e令 n\to\inftyR-C \le R\cdot \lim P_e步骤5结论若 RC必须有\lim_{n\to\infty}P_e 0❌ 误码率无法趋于0不可靠传输逆定理证毕五、定理深度理论分析5.1 为什么 RC 就可以零误码本质原因- 信道噪声带来的信息损失速率小于传输速率余量- 长码 随机编码 利用AEP实现概率集中- 典型集译码天然具有抗噪能力5.2 为什么 RC 必然出错- 信道能区分的最大信息量只有 C- 超过容量的信息属于不可分辨信息- 噪声会强制造成混淆无法通过编码消除5.3 信道编码定理三大核心结论1. C 是可靠传输的严格极限2. 码长无限长才能逼近极限工程有限码长必有损耗3. 编码不改变信道容量只逼近极限六、工程延伸与现代应用6.1 解释现代编码- Turbo码、LDPC码、Polar码 都是逼近香农极限的编码- 5G Polar 码正是理论上最贴合信道编码定理的构造码6.2 定理指导工程设计- 速率必须低于容量才能可靠通信- 信噪比决定容量容量决定最大传输速率- 误码率降低只能靠更长码长、更优编码、更高信噪比6.3 理论局限性- 证明是存在性证明不给出具体编码构造- 极限需要无限码长工程只能逼近无法达到七、总结报告结语1. 信道编码定理从理论上严格区分可可靠传输区与不可传输区2. 通过 AEP 随机编码证明正向可达通过费诺不等式证明反向不可达3. 确立了信道容量是通信系统的绝对上限4. 是现代所有纠错编码、移动通信、存储系统的理论根基