熵，表示平均意义下表示一个分布的最小 bit 长度，也就是 \(p\) 的最佳编码长度。
\[\begin{align*} H(p)&=-\sum_{x\in\mathcal X}p(x)\log p(x)\\ &=-\mathbb E_p\log p(x) \end{align*} \]
交叉熵，表示如果使用 \(q\) 的最佳编码来表示 \(p\) 的事件的话，需要使用的平均 bit 长度。由于 \(q\) 的最佳编码不一定是 \(p\) 的最佳编码，所以交叉熵一定大于 \(p\) 的熵。
\[\begin{align*} D_{CE}(\pmb y,\hat{\pmb y})&=-\sum_{c\in\mathcal C}y_c\log\hat y_c\\ D_{CE}(p,q)&=-\sum_{x\in\mathcal X}p(x)\log q(x)\\ &=-\mathbb E_p\log q(x) \end{align*} \]
相对熵，或称 KL 散度，表示如果使用 \(q\) 编码 \(p\) 的事件的话，增长的 bit 长度。也就是交叉熵和熵的差值。
\[\begin{align*} D_{KL}(p\parallel q)&=\sum_{x\in\mathcal X}p(x)\log{p(x)\over q(x)}\\ &=\mathbb E_p\log{p(x)\over q(x)}\\ &=D_{CE}(p,q)-H(p)\\[1em] D_{CE}(p,p)&=H(p)\implies D_{KL}(p\parallel p)=0 \end{align*} \]
可以看出，如果固定 \(H(p)\)，那么最小化交叉熵和最小化 KL 散度是同样的。而固定 \(H(p)\) 的一个方法就是将 \(p\) 作为样本的真实分布；相对的，将 \(q\) 作为想在机器学习或者深度学习中学习的分布。
原文地址：http://www.cnblogs.com/violeshnv/p/16880931.html
1. 本站所有资源来源于用户上传和网络，如有侵权请邮件联系站长！
2. 分享目的仅供大家学习和交流，请务用于商业用途!
3. 如果你也有好源码或者教程，可以到用户中心发布，分享有积分奖励和额外收入！
4. 本站提供的源码、模板、插件等等其他资源，都不包含技术服务请大家谅解！
5. 如有链接无法下载、失效或广告，请联系管理员处理！
6. 本站资源售价只是赞助，收取费用仅维持本站的日常运营所需！
7. 如遇到加密压缩包，默认解压密码为"gltf",如遇到无法解压的请联系管理员！
8. 因为资源和程序源码均为可复制品，所以不支持任何理由的退款兑现，请斟酌后支付下载
声明：如果标题没有注明"已测试"或者"测试可用"等字样的资源源码均未经过站长测试.特别注意没有标注的源码不保证任何可用性
