信道

二进制对称信道 (BSC)

$$\left[\begin{array}{cc}p& 1-p\\ 1-p& p\end{array}\right]$$

其中 $p$ 为信道中比特不出错的概率，$1-p$ 为比特出错的概率。

信道容量

• 信息传输率：$R=I(X;Y)=H(X)-H(X|Y)$
• 信道容量，既最大信息量：$C=\underset{p(x)}{max}I(X;Y)$，其中 $p(x)$ 为输入符号的概率分布。

离散无记忆信道 (DMC)

输出符号大于2

对称信道

• 行和列对称
• $p(x_i)=\frac{1}{n}$，其中 $n$ 为输入符号个数
• 信道容量：$C={\log }_{2}m-H(r)$，其中 $m$ 为输出符号个数，$r$ 为任一行的概率分布。

准对称信道

• 行对称，列不对称
• 信道容量：使用分解矩阵法，公式：

$$C=\log n-H(p_1,p_2,...,p_m)-\sum _{k=1}^r{N}_k\log M_k$$

其中 $n$ 为输入符号个数 $p_m$ 为主矩阵一行的分布， $N$ 为字矩阵任一行求和， $M$ 为子矩阵任一列求和。

e.g.1

$$\left[\begin{array}{ccc}0.7& 0.1& 0.2\\ 0.2& 0.1& 0.7\end{array}\right]$$

可以分解为：

$$\left[\begin{array}{cc}0.7& 0.2\\ 0.2& 0.7\end{array}\right],\left[\begin{array}{c}0.1\\ 0.1\end{array}\right]$$

计算得到：

$$C=\log 2+H(0.7,0.2,0.1)-0.9\log 0.9-0.1\log 0.2$$