如何利用Kaggle优化模型训练，有效预防内存溢出和缩短训练周期？
- 内容介绍
- 相关推荐
本文共计1573个文字，预计阅读时间需要7分钟。
本文介绍了一些避免使用transformers时发生OOM（Out of Memory）以及训练等流程过长的方法，主要参考了Kaggle Notebook中的Optimization approaches for Transformers文章。其中，梯度累积（Gradient Accumulation）和冻结（Freezing）是两个关键点。
本文介绍一些避免transformers的OOM以及训练等流程太漫长的方法，主要参考了kaggle notebook Optimization approaches for Transformers | Kaggle，其中梯度累积Gradient Accumulation，冻结Freezing已经在之前的博客中介绍过，本文会依次介绍混合精度训练Automatic Mixed Precision, 8-bit Optimizers, and Gradient Checkpointing, 然后介绍一些NLP专用的方法，比如Dynamic Padding, Uniform Dynamic Padding, and Fast Tokenizers.
Automatic Mixed Precision作用：不损失最终质量的情况下减少内存消耗和训练时间
关键思想：是使用较低的精度将模型的梯度和参数保持在memory中，即不是使用全精度 (例如float32)，而是使用半精度 (例如float16) 将张量保持在memory中。但是，当以较低的精度计算梯度时，某些值可能很小，以至于它们被视为零，这种现象称为 “overflow”。为了防止 “overflow溢出”，原始论文的作者提出了一种梯度缩放方法。
本文共计1573个文字，预计阅读时间需要7分钟。
本文介绍了一些避免使用transformers时发生OOM（Out of Memory）以及训练等流程过长的方法，主要参考了Kaggle Notebook中的Optimization approaches for Transformers文章。其中，梯度累积（Gradient Accumulation）和冻结（Freezing）是两个关键点。
本文介绍一些避免transformers的OOM以及训练等流程太漫长的方法，主要参考了kaggle notebook Optimization approaches for Transformers | Kaggle，其中梯度累积Gradient Accumulation，冻结Freezing已经在之前的博客中介绍过，本文会依次介绍混合精度训练Automatic Mixed Precision, 8-bit Optimizers, and Gradient Checkpointing, 然后介绍一些NLP专用的方法，比如Dynamic Padding, Uniform Dynamic Padding, and Fast Tokenizers.
Automatic Mixed Precision作用：不损失最终质量的情况下减少内存消耗和训练时间
关键思想：是使用较低的精度将模型的梯度和参数保持在memory中，即不是使用全精度 (例如float32)，而是使用半精度 (例如float16) 将张量保持在memory中。但是，当以较低的精度计算梯度时，某些值可能很小，以至于它们被视为零，这种现象称为 “overflow”。为了防止 “overflow溢出”，原始论文的作者提出了一种梯度缩放方法。