Week 6

相对熵

也称为KL散度，衡量两个概率分布的差异。

$D_{kl}(P||Q) = \sum_{i} P(x_i) \log \frac{P(x_i)}{Q(x_i)}$

• $D_{kl}(P||Q) \geq 0$，当且仅当 $P=Q$ 时取等号。
• 不对称性，$D_{kl}(P||Q) \neq D_{kl}(Q||P)$。

推论：香农辅助定理

对于概率分布 $p_i$ 和 $q_i$，有

$\sum_{i} p_i \log \frac{1}{q_i} \geq \sum_{i} p_i \log \frac{1}{p_i}$

离散序列的平均符号熵

对序列 $x_1,x_2,...,x_n$：

$H_n(X) = \frac{1}{n} H(X_1,X_2,...,X_n)$

极限熵

在序列长度n趋于无穷时，极限平均符号熵等于极限条件熵

$H_\infty(X) = \lim_{n \to \infty} \frac{1}{n} H_n(X) = \lim_{n \to \infty} H(X_n|X_1,X_2,...,X_{n-1})$

连续信源熵

$H(X) = - \int_{X} px(x) \log px(x) dx$

例如对均匀分布 $px(x)=\frac{1}{b-a}$

$H(X) = \int_{a}^{b} \frac{1}{b-a} \log (b-a) dx = \log (b-a)$