Week 5

信源的分类

可以分为离散信源和离散信源。离散信源可以分为无记忆信源和有记忆信源。

例：単符号无记忆信源 $P (白) = 0.7, P (黑) = 0.3$

[\begin{matrix} X \\ P \end{matrix}] = [\begin{matrix} 白 & 黑 \\ 0.7 & 0.3 \end{matrix}]

多符号:

[\begin{matrix} X \\ P \end{matrix}] = [\begin{matrix} a_{1}, b_{1} & a_{2}, b_{2} & a_{3}, b_{3} & . . . & a_{n}, b_{n} \\ p_{1} & p_{2} & p_{3} & . . . & p_{n} \end{matrix}]

马尔科夫信源：在序列信源的基础上，例如第m+1个符号的概率只与前m个符号有关，而与更早的符号无关，称为m阶马尔科夫信源。

自信息量：

I (x_{i}) = - \log P (x_{i})

联合自信息量：

I (x_{i}, y_{j}) = - \log P (x_{i}, y_{j})

条件自信息量：

I (x_{i} | y_{j}) = - \log P (x_{i} | y_{j})

简单来说，如果对于 $H (X)$ 大于 $H (X | Y)$ ，说明在知道 $Y$ 后， $X$ 的不确定性减少了，则可以称 $H (X) - H (X | Y)$ 为 $X$ 关于 $Y$ 的互信息，记为 $I (X; Y)$ ，既：

I (X; Y) = H (X) - H (X | Y)

I (X; Y) = H (Y) - H (Y | X)

I (X; Y) = H (X) + H (Y) - H (X, Y)

可以成为 $Y$ 包含的关于 $X$ 的信息量。