奈奎斯特定理与香农定理

奈奎斯特准则和香农定理是计算机网络中和信息论中的基础理论，分别给出了无噪声和有噪声信道的最大数据传输速率。但我们可能很好奇，这些式子是怎么推出来的？为什么会和对数结合信噪比这么一个奇怪的东西扯上关系？我们可以看出有$mlogn$，这是否暗藏玄机？

这些内容其实都可以从香农本人的1949年的《通信的数学理论/A mathematical theory of communication》中找到。

---

奈奎斯特准则：

奈式准则其实就是等同于“采样频率不能高于2W”（称为“奈奎斯特第一准则”，奈奎斯特本人好像也没有单独把它作为一条的信道容量定理）。

信道容量都是由熵H定义的。由于采样频率不能超过2W，所以信道以秒为单位时要在最前面乘个2W的系数。即最大信道容量C=2W*H

熵是$H=-\sum plogp$。理想情况下，$p=\frac{1}{v}$，故H为logv，即C=2Wlogv。

香农定理：

有（高斯分布的）噪声、给定功率情况下，信道容量为信号熵减噪声熵。
而有以下结论：
（1）当平均功率不变的情况下，信号符合高斯分布时熵最大
（2）符合高斯分布的熵为$\log{\sqrt{2\pi e N}}$。N为功率，$\pi$为圆周率，e为自然常数。

故，最大信道容量为：

$2w\log{\sqrt{2\pi e(s+n)}}-2w\log{\sqrt{2\pi e n}}=2w\log{\sqrt{1+\frac{s}{n}}}$