什么是交叉熵

交叉熵

定义公式

• 针对离散变量x的概率分布 $p(x)$ , $q(x)$

  $x_1$	$x_2$	$x_3$	$x_4$	…	$x_n$
  p($x_1$)	p($x_2$)	p($x_3$)	p($x_4$)	…	p($x_n$)
  q($x_1$)	q($x_2$)	q($x_3$)	q($x_4$)	…	q($x_5$)

  其交叉熵定义为：
  $$\begin{array}{rl}H(P,Q)& =\sum _{i=1}^{n}p(x_i)\log \frac{1}{q(x_i)}\\ & =-\sum _{i=1}^{n}p(x_i)\log q(x_i)\end{array}$$

• 交叉熵可解释为：用基于p的编码去编码来自Q的样本，所需要的比特个数

---

性质

• 如果连个概率分布完全相等，交叉熵退化为熵

• 交叉熵不是距离，不具有对称性，也不满足三角不等式

• 当两个概率分布相等时，交叉熵有极小值

• 交叉熵与相对熵的关系，都反映了两个概率分布的差异程度。