权重衰减 – Weight Decay

简述

权重衰减（又称L2-正则化）是一种模型正则化（Regularzation）技术。

原理

1. 首先，用权重向量的L2-范数来衡量模型函数的复杂度，这是对模型复杂度的量化。
2. 把上述L2-范数加入到训练目标中。我的意思是，模型现在的训练目标调整为：最小化预测误差与L2-范数的和。
3. 这个L2-范数也叫做惩罚项。上述做法的目标，是当权重向量增长得太大时，模型可能会更倾向于让权重的L2-范数变得更小，从而限制模型的复杂度。模型在训练时，预测损失和权重范数都在减小，因此这种方法被称为权重衰减。
4. 引入非负正则化常数，平衡预测误差与惩罚项的权重。这是权重衰减的超参数。
5. 上述预测损失，指的是不含惩罚项的损失函数值，例如预测标签和样本标签的交叉熵损失。

题外话：一种模型选择的策略

在深度学习领域， 最好的预测模型在训练数据上的表现往往比在保留（验证）数据上好得多。 最终，我们通常更关心验证误差，而不是训练误差和验证误差之间的差距。
我在毕设中并没有遵循这个原则，过度关注了后者。

其他资料 – 摘自李宏毅课件

原文地址：http://www.cnblogs.com/cyanzll/p/16826970.html