Week 5

信源的分类

可以分为离散信源和离散信源。 离散信源可以分为无记忆信源和有记忆信源。

例：単符号无记忆信源 P(白)=0.7,P(黑)=0.3

\begin{bmatrix} & X \\ & P \end{bmatrix} = \begin{bmatrix} & 白 & 黑 \\ & 0.7 & 0.3 \end{bmatrix}

多符号:

$\begin{bmatrix} & X \\ & P \end{bmatrix} = \begin{bmatrix} & a_1,b_1 & a_2,b_2 & a_3,b_3 & ... & a_n,b_n \\ & p_1 & p_2 & p_3 & ... & p_n \end{bmatrix}$

马尔科夫信源：在序列信源的基础上，例如第m+1个符号的概率只与前m个符号有关，而与更早的符号无关，称为m阶马尔科夫信源。

自信息量

自信息量：

$I(x_i) = -\log P(x_i)$

联合自信息量：

$I(x_i,y_j) = -\log P(x_i,y_j)$

条件自信息量：

$I(x_i|y_j) = -\log P(x_i|y_j)$

互信息

简单来说，如果对于 $H(X)$ 大于 $H(X | Y)$，说明在知道 $Y$ 后，$X$ 的不确定性减少了，则可以称 $H(X) - H(X | Y)$ 为 $X$ 关于 $Y$ 的互信息，记为 $I(X ; Y)$，既：

$I(X ; Y) = H(X) - H(X | Y)$

$I(X ; Y) = H(Y) - H(Y | X)$

$I(X;Y) = H(X) + H(Y) - H(X,Y)$

可以成为 $Y$ 包含的关于 $X$ 的信息量。