Deepspeed-MoE 论文中LLM学习笔记有哪些关键点？

本文共计3246个文字，预计阅读时间需要13分钟。

论文《DeepSpeed-MoE：推进混合专家推理和训练以支持下一代AI规模》摘要：

1.引言：现有MoE方法在正式使用场景中面临挑战：场景局限性：大多局限于encoder-decoder模型。

论文 DeepSpeed-MoE: Advancing Mixture-of-Experts Inference and Training to Power Next-Generation AI Scale

1. Introduction

现有的 MoE 方法在正式使用场景中存在的挑战：

1. 场景局限：大都是 encoder-decoder 模型或者 sequence-to-sequence 任务；
2. 训练时的内存需求巨大：
3. 推理性能还不太行：通常单个 GPU 放不下 MoE 做推理。另一方面多 GPU 的 MoE 推理方法还欠缺研究。MoE 推理还收到内存带宽的影响。

Deepspeed-MoE针对上述挑战做了下面的改进：

1. 把 MoE 的任务扩展到了各种自回归的 NLG 任务
2. 提出 PR-MoE 来减少 MoE 参数
3. 设计了 Deepspeed-MoE 推理系统，减少 7.3 倍推理延时和开销。