README

English · 简体中文



 开发者交流会 (Office Hours)

DeepSpeed 于每月最后一个星期二美东时间 12:00（北京时间次日凌晨 00:00 / 01:00）定期举行线上 Office Hours，共同讨论开发规划、新特性与技术设计等。该会议对所有人公开，欢迎任何人加入并交流提问。
会议基于 Zoom 进行，可通过此处链接直接参会。

 最新动态

 [2026/05] 在 DeepSpeed 中使用 Muon 优化器

 [2026/05] 针对 ZeRO-3 的系统 DMA (SDMA)：将集合通信算子从 AMD GPU 计算单元卸载，实现更优的通信与计算重叠

 [2026/03] DeepSpeed 团队在 ASPLOS 2026 上开展了题为 “Building Efficient Large-Scale Model Systems with DeepSpeed: From Open-Source Foundations to Emerging Research” 的技术专题研讨

 [2026/03] 我们的 SuperOffload 研究成果荣获 ASPLOS 2026 最佳论文提名 (Honorable Mention)

 [2025/12] DeepSpeed Core API 重大更新：支持原生 PyTorch 风格的反向传播与低精度主状态（Master States）管理

 [2025/11] DeepSpeed ZeRO++ 助力 LinkedIn 推荐系统超大规模大语言模型（LLM）的蒸馏训练

 [2025/10] 我们在 Anyscale 举办了 Ray x DeepSpeed 线下 Meetup，分享了关于 SuperOffload、ZenFlow、Muon 优化器支持、Arctic 长序列训练（ALST）以及 DeepCompile 的最新研究进展。交流会演讲胶片见此处。

 [2025/10] SuperOffload：释放超级芯片（Superchips）上大规模大语言模型训练的强大潜能

 [2025/10] 结合 DeepSpeed CPU 核心绑定的 ZenFlow 与 ZeRO Offload 性能基准评测

 [2025/08] ZenFlow：面向大语言模型训练的无阻塞（Stall-Free）内存卸载引擎

 [2025/06] 基于 DeepSpeed 的 Arctic 长序列训练 (ALST)：支持数百万 Token 超长序列的高扩展与高效训练方案

 [2025/06] DeepNVMe：面向深度学习应用的高性价比 I/O 扩展方案





 查看更多历史动态
 

   [2025/04] DeepCompile：为分布式训练全面释放编译器级优化潜力

   [2025/03] DeepSpeed AutoTP：Hugging Face 模型的自动化张量并行（Tensor Parallel）训练支持

 [2024/12] Ulysses-Offload：普惠超长上下文 LLM 的分布式训练

 


---

 极致速度与超大规模深度学习训练

DeepSpeed 成功支撑了全球众多极具影响力的大规模语言模型训练，例如 MT-530B 以及 BLOOM。DeepSpeed 汇聚了一系列前沿的系统级创新，使超大规模深度学习训练变得既可行又极其高效，大幅提升了开发易用性，并在模型可扩展性维度彻底重新定义了深度学习的训练边界。这些突破性技术包括 ZeRO、ZeRO-Infinity、3D 并行（3D-Parallelism）、Ulysses 序列并行、DeepSpeed-MoE 等。

---

 DeepSpeed 生态应用

DeepSpeed 是微软 AI at Scale 核心战略的重要支柱，旨在规模化赋能下一代人工智能前沿能力，更多背景可查阅此处详情。

DeepSpeed 已被广泛应用于训练各类超大规模模型，以下为部分知名代表案例（若您希望在此列出您的模型，欢迎提交 PR）：

   Megatron-Turing NLG (530B)
   Jurassic-1 (178B)
   BLOOM (176B)
   GLM (130B)
   xTrimoPGLM (100B)
   YaLM (100B)
   GPT-NeoX (20B)
   AlexaTM (20B)
   Turing NLG (17B)
   METRO-LM (5.4B)

DeepSpeed 已无缝集成至众多主流开源深度学习框架与生态：

|                                                                                                | 文档指引                                |
| ---------------------------------------------------------------------------------------------- | -------------------------------------------- |
 | 在 Transformers 中使用 DeepSpeed |
|  | 在 Accelerate 中使用 DeepSpeed |
|  | 在 Lightning 中使用 DeepSpeed |
|  | 在 MosaicML 中使用 DeepSpeed |
|  | 在 Determined 中使用 DeepSpeed |
|  | 在 MMEngine 中使用 DeepSpeed |

---

 构建流水线状态

| 平台 / 运行环境 | 持续集成状态 |
| ----------- | ------ |
| NVIDIA |   |
| AMD |  |
| CPU |  |
| Intel Gaudi |  |
| Intel XPU |  |
| 生态集成 |  |
| 其他检查 |    |
| 华为昇腾 NPU |  |

 安装指南

通过 pip 安装是快速上手 DeepSpeed 最便捷的方式，这将安装 DeepSpeed 的最新稳定发布版（且无需强制绑定特定的 PyTorch 或 CUDA 版本）。DeepSpeed 包含多个我们通常称为“算子 (Ops)”的 C++/CUDA 原生扩展。默认情况下，所有这些扩展/算子都会通过依赖 ninja 的 PyTorch JIT C++ 扩展加载器在运行时按需即时（JIT）编译并动态链接。

 环境要求
 在安装 DeepSpeed 之前必须预先安装 PyTorch。
 为获得完整的特性支持，建议使用 PyTorch = 2.0 版本，最佳实践为使用最新的 PyTorch 稳定发布版。
 需具备用于编译 C++/CUDA/HIP 扩展的 CUDA 或 ROCm 编译器，例如 nvcc 或 hipcc。
 我们日常重点开发与测试的 GPU 架

Top issues

Discussions

Latest release

What's Changed
 Update version post 0.19.8 release by @loadams in https://github.com/deepspeedai/DeepSpeed/pull/8871
 Update to filter out version.txt from PR gates. by @loadams in https://github.com/deepspeedai/DeepSpeed/pull/8872
 Skip the accelerator-only CPU optimizer tests on the cpu accelerator by @delock in https://github.com/deepspeedai/DeepSpeed/pull/8836
 Keep Yuan's o_proj bias whole on every rank and describe it as replicated by @Achyuthan-S in https://github.com/deepspeedai/DeepSpeed/pull/8857
 Expect AutoTP to keep a row-parallel output head tied to the embedding by @jinyouz