Overview
产品概述
DeepSpeed 通过 ZeRO、3D-Parallelism、DeepSpeed-MoE、ZeRO-Infinity 等一系列系统创新，使大规模深度学习训练更高效、更易用，并已用于训练 MT-530B、BLOOM 等超大语言模型。它是微软 AI at Scale 计划的一部分。
Capabilities
核心能力
ZeRO 内存优化
提供 ZeRO、ZeRO-Offload、ZeRO-Infinity 等优化技术，降低大模型训练的内存瓶颈，支持超大规模模型训练。
混合并行与 MoE
包含 3D-Parallelism 与 DeepSpeed-MoE 等系统创新，提升分布式训练的可扩展性与效率。
DeepSpeed Inference 推理优化
支持高效推理 Transformer 模型，面向超大规模模型提供推理优化能力。
Use Cases
适用场景
-
01
大规模语言模型训练
已用于训练 Megatron-Turing NLG (530B)、BLOOM、GLM 等超大语言模型。
-
02
Transformer 模型推理
提供面向超大规模 Transformer 模型的高效推理能力。
-
03
科学发现研究
DeepSpeed4Science 计划利用 AI 系统技术助力大规模科学发现。
Integrations
集成能力
Transformers
与 Hugging Face Transformers 集成，支持在 Transformers 中使用 DeepSpeed。
Accelerate
与 Hugging Face Accelerate 集成。
Lightning
与 PyTorch Lightning 集成。
MosaicML
与 MosaicML 集成。
