熵

相对熵

也称为KL散度，衡量两个概率分布的差异。

$$D_{kl}(P||Q)=\sum _{i}P(x_i)\log \frac{P(x_i)}{Q(x_i)}$$

• $D_{kl}(P||Q)\ge 0$，当且仅当 $P=Q$ 时取等号。
• 不对称性，$D_{kl}(P||Q)\ne D_{kl}(Q||P)$。

推论：香农辅助定理

对于概率分布 $p_i$ 和 $q_i$，有

$$\sum _i{p}_i\log \frac{1}{q_i}\ge \sum _i{p}_i\log \frac{1}{p_i}$$

离散序列的平均符号熵

对序列 $x_1,x_2,...,x_n$：

$$H_n(X)=\frac{1}{n}H(X_1,X_2,...,X_n)$$

极限熵

在序列长度n趋于无穷时，极限平均符号熵等于极限条件熵

$$H_{\mathrm{\infty }}(X)=\underset{n\to \mathrm{\infty }}{lim}\frac{1}{n}{H}_n(X)=\underset{n\to \mathrm{\infty }}{lim}H(X_n|X_1,X_2,...,X_{n-1})$$

连续信源熵

$$H(X)=-{\int }_{X}px(x)\log px(x)dx$$

例如对均匀分布 $px(x)=\frac{1}{b-a}$

$$H(X)={\int }_a^b\frac{1}{b-a}\log (b-a)dx=\log (b-a)$$