如何理解并实现炼丹Trick中的EMA指标原理？
- 内容介绍
- 文章标签
- 相关推荐
本文共计1226个文字，预计阅读时间需要5分钟。
在深度学习训练过程中，同一模型反复训练可产生不同效果，这是炼丹术的体现。一些技巧能帮助你更易追求SOTA效果，许多流行的开源代码已集成了不少。
1.原理：在进行深度学习训练时，同一模型往往可以训练出不同的效果，这就是炼丹这件事的玄学所在。使用一些trick能够让你更容易追上目前SOTA的效果，一些流行的开源代码中已经集成了不少trick，值得学习一番。本节介绍EMA这一方法。
EMA也就是指数移动平均(Exponential moving average)。其公式非常简单，如下所示：
\(\theta_{\text{EMA}, t+1} = (1 - \lambda) \cdot \theta_{\text{EMA}, t} + \lambda \cdot \theta_{t}\)
\(\theta_{t}\)是t时刻的网络参数，\(\theta_{\text{EMA}, t}\)是t时刻滑动平均后的网络参数，那么t+1时刻的滑动平均结果就是这两者的加权融合。这里 \(\lambda\)通常会取接近于1的数，比如0.9995，数字越大平均的效果就比较强。
值得注意的是，这里可以看成有两个模型，基础模型其参数按照常规的前后向传播来更新，另外一个模型则是基础模型的滑动平均版本，它并不直接参与前后向传播，仅仅是利用基础模型的参数结果来更新自己。
EMA为什么会有效呢？大概是因为在训练的时候，会使用验证集来衡量模型精度，但其实验证集精度并不和测试集一致，在训练后期阶段，模型可能已经在测试集最佳精度附近波动，所以使用滑动平均的结果会比使用单一结果更加可靠。感兴趣的话可以看看这几篇论文,论文1,论文2,论文3。
本文共计1226个文字，预计阅读时间需要5分钟。
在深度学习训练过程中，同一模型反复训练可产生不同效果，这是炼丹术的体现。一些技巧能帮助你更易追求SOTA效果，许多流行的开源代码已集成了不少。
1.原理：在进行深度学习训练时，同一模型往往可以训练出不同的效果，这就是炼丹这件事的玄学所在。使用一些trick能够让你更容易追上目前SOTA的效果，一些流行的开源代码中已经集成了不少trick，值得学习一番。本节介绍EMA这一方法。
EMA也就是指数移动平均(Exponential moving average)。其公式非常简单，如下所示：
\(\theta_{\text{EMA}, t+1} = (1 - \lambda) \cdot \theta_{\text{EMA}, t} + \lambda \cdot \theta_{t}\)
\(\theta_{t}\)是t时刻的网络参数，\(\theta_{\text{EMA}, t}\)是t时刻滑动平均后的网络参数，那么t+1时刻的滑动平均结果就是这两者的加权融合。这里 \(\lambda\)通常会取接近于1的数，比如0.9995，数字越大平均的效果就比较强。
值得注意的是，这里可以看成有两个模型，基础模型其参数按照常规的前后向传播来更新，另外一个模型则是基础模型的滑动平均版本，它并不直接参与前后向传播，仅仅是利用基础模型的参数结果来更新自己。
EMA为什么会有效呢？大概是因为在训练的时候，会使用验证集来衡量模型精度，但其实验证集精度并不和测试集一致，在训练后期阶段，模型可能已经在测试集最佳精度附近波动，所以使用滑动平均的结果会比使用单一结果更加可靠。感兴趣的话可以看看这几篇论文,论文1,论文2,论文3。