奈奎斯特定理与香农定理
奈奎斯特准则和香农定理是计算机网络中和信息论中的基础理论,分别给出了无噪声和有噪声信道的最大数据传输速率。但我们可能很好奇,这些式子是怎么推出来的?为什么会和对数结合信噪比这么一个奇怪的东西扯上关系?我们可以看出有$mlogn$,这是否暗藏玄机?
这些内容其实都可以从香农本人的1949年的《通信的数学理论/A mathematical theory of communication》中找到。
奈奎斯特准则:
奈式准则其实就是等同于“采样频率不能高于2W”(称为“奈奎斯特第一准则”,奈奎斯特本人好像也没有单独把它作为一条的信道容量定理)。
信道容量都是由熵H定义的。由于采样频率不能超过2W,所以信道以秒为单位时要在最前面乘个2W的系数。即最大信道容量C=2W*H
熵是$H=-\sum plogp$。理想情况下,$p=\frac{1}{v}$,故H为logv,即C=2Wlogv。
香农定理:
有(高斯分布的)噪声、给定功率情况下,信道容量为信号熵减噪声熵。
而有以下结论:
(1)当平均功率不变的情况下,信号符合高斯分布时熵最大
(2)符合高斯分布的熵为$\log{\sqrt{2\pi e N}}$。N为功率,$\pi$为圆周率,e为自然常数。
故,最大信道容量为:
$2w\log{\sqrt{2\pi e(s+n)}}-2w\log{\sqrt{2\pi e n}}=2w\log{\sqrt{1+\frac{s}{n}}}$
奈奎斯特定理与香农定理
https://lijianxiong.work/2024/20241216/