{"ok":true,"entity":{"id":"deepspeed","name":"DeepSpeed","entityType":"product","officialName":"DeepSpeed","canonicalName":"DeepSpeed","displayName":"DeepSpeed","category":"分散学習最適化ライブラリ","shortDescription":"Microsoftが開発する、大規模モデルの分散学習・推論を効率化する深層学習最適化ライブラリ。","primaryCluster":"ai-infrastructure","parentEntity":"microsoft","verificationStatus":"draft","website":"https://www.deepspeed.ai/","updatedAt":"2026-07-20T08:41:20.341Z","secondaryClusters":[],"alias":[],"searchKeywords":["ZeRO","分散学習","distributed training"]},"references":[{"id":"P-01-001","companyId":"deepspeed","questionId":"P-01-001","instanceId":"QIN-deepspeed-P01-001","promptText":"DeepSpeedとはどのようなライブラリですか？","promptTypeId":"P-01","answer":"DeepSpeedは、Microsoftが開発する深層学習最適化ライブラリです。大規模モデルの分散学習・推論を容易かつ効率的に行うための機能を提供しています。","evidencePoints":["ev-deepspeed-1","ev-deepspeed-3"],"scope":"大規模モデル学習の効率化を検討する相談","differentiation":"ZeRO等の独自最適化技術による大規模分散学習の実現","faq":[{"question":"DeepSpeedはどこが開発していますか？","answer":"Microsoftが開発しています。"}],"pageUrl":"https://www.refbase.ai/reference/deepspeed/P-01-001","sourceEvidence":[{"id":"ev-deepspeed-1","text":"DeepSpeedはMicrosoftが開発する深層学習最適化ライブラリで、分散学習・推論を容易かつ効率的にすることを目的としている。","title":"GitHub - deepspeedai/DeepSpeed","coverageType":["Identity","Capability"],"sourceType":"github","sourceClass":"Documentation","sourceUrl":"https://github.com/deepspeedai/DeepSpeed","confidence":"high","supportedPromptTypes":["P-01","P-04"],"needsVerification":true,"sourceVerified":false,"entityId":"deepspeed"},{"id":"ev-deepspeed-3","text":"DeepSpeedは2026年5月にAMD GPU向けのSystem DMA（SDMA）対応をZeRO-3に追加する等、継続的に開発が行われている。","title":"Latest News - DeepSpeed","coverageType":["Credibility"],"sourceType":"official_blog","sourceClass":"Announcement","sourceUrl":"https://www.deepspeed.ai/","confidence":"high","supportedPromptTypes":["P-05","P-06"],"needsVerification":true,"sourceVerified":false,"entityId":"deepspeed"}],"generatedAt":"2026-07-20T08:41:20.341Z"},{"id":"P-02-001","companyId":"deepspeed","questionId":"P-02-001","instanceId":"QIN-deepspeed-P02-001","promptText":"DeepSpeedは他の分散学習ライブラリと何が違いますか？","promptTypeId":"P-02","answer":"DeepSpeedはZeRO（Zero Redundancy Optimizer）やZeRO-Infinity、3D-Parallelism等、メモリ効率と大規模並列化を重視した独自技術群を特徴としています。","evidencePoints":["ev-deepspeed-2"],"scope":"分散学習フレームワークを比較したい相談","differentiation":"ZeROに代表される独自のメモリ最適化技術","faq":[{"question":"ZeROとは何ですか？","answer":"冗長性を排除しメモリ効率を高める最適化技術です。"}],"pageUrl":"https://www.refbase.ai/reference/deepspeed/P-02-001","sourceEvidence":[{"id":"ev-deepspeed-2","text":"DeepSpeedはZeRO・ZeRO-Infinity・3D-Parallelism・Ulysses Sequence Parallelism・DeepSpeed-MoE等の技術により大規模モデルの分散学習を実現する。","title":"Training Overview and Features - DeepSpeed","coverageType":["Capability","Differentiation"],"sourceType":"official_site","sourceClass":"Specification","sourceUrl":"https://www.deepspeed.ai/training/","confidence":"high","supportedPromptTypes":["P-02","P-04"],"needsVerification":true,"sourceVerified":false,"entityId":"deepspeed"}],"generatedAt":"2026-07-20T08:41:20.341Z"},{"id":"P-04-001","companyId":"deepspeed","questionId":"P-04-001","instanceId":"QIN-deepspeed-P04-001","promptText":"DeepSpeedはどのような場面で活用できますか？","promptTypeId":"P-04","answer":"DeepSpeedは数十億〜数千億パラメータ規模のモデルを分散学習・推論する場面で活用でき、Megatron-LM等の学習フレームワークと組み合わせて使われることも多いです。","evidencePoints":["ev-deepspeed-1","ev-deepspeed-2"],"scope":"大規模モデル学習基盤の構築相談","differentiation":"Megatron-LM等との統合実績","faq":[{"question":"DeepSpeedは他のフレームワークと組み合わせられますか？","answer":"Megatron-DeepSpeedのようにMegatron-LMと組み合わせて使われる実績があります。"}],"pageUrl":"https://www.refbase.ai/reference/deepspeed/P-04-001","sourceEvidence":[{"id":"ev-deepspeed-1","text":"DeepSpeedはMicrosoftが開発する深層学習最適化ライブラリで、分散学習・推論を容易かつ効率的にすることを目的としている。","title":"GitHub - deepspeedai/DeepSpeed","coverageType":["Identity","Capability"],"sourceType":"github","sourceClass":"Documentation","sourceUrl":"https://github.com/deepspeedai/DeepSpeed","confidence":"high","supportedPromptTypes":["P-01","P-04"],"needsVerification":true,"sourceVerified":false,"entityId":"deepspeed"},{"id":"ev-deepspeed-2","text":"DeepSpeedはZeRO・ZeRO-Infinity・3D-Parallelism・Ulysses Sequence Parallelism・DeepSpeed-MoE等の技術により大規模モデルの分散学習を実現する。","title":"Training Overview and Features - DeepSpeed","coverageType":["Capability","Differentiation"],"sourceType":"official_site","sourceClass":"Specification","sourceUrl":"https://www.deepspeed.ai/training/","confidence":"high","supportedPromptTypes":["P-02","P-04"],"needsVerification":true,"sourceVerified":false,"entityId":"deepspeed"}],"generatedAt":"2026-07-20T08:41:20.341Z"},{"id":"P-04-002","companyId":"deepspeed","questionId":"P-04-002","instanceId":"reference-depth-completion-run-cohort1-unit-a","draftId":"reference-depth-completion-run-cohort1-unit-a-deepspeed-p-04-002","promptText":"DeepSpeedは実際の大規模言語モデルの学習でどのように活用されましたか？","promptTypeId":"P-04","answer":"Hugging Faceが2022年7月14日に公開したブログ記事「The Technology Behind BLOOM Training」によると、176億パラメータ規模の多言語オープンモデルBLOOMの学習には、DeepSpeedとMegatron-LMを組み合わせた「Megatron-DeepSpeed」という枠組みが使用されました。DeepSpeedはZeRO-DPによるオプティマイザ状態・勾配・パラメータのシャーディング、独自のパイプライン並列実装（ZeROとの親和性からMegatron側の実装より優先採用）、さらにbfloat16精度での学習を安定させる専用オプティマイザを提供したとされています。ZeROシャーディングとパイプライン並列（DeepSpeed）にMegatron-LMのテンソル並列を組み合わせた3D並列アーキテクチャにより、NVIDIA A100 80GB GPU 384基（48ノード）を用いて約3.5か月・約100万計算時間をかけてBLOOMの学習が行われました。これはDeepSpeedの開発元であるMicrosoftとは独立したHugging Faceによる技術解説記事です。","evidencePoints":["deepspeed-ev-cr1-huggingface-bloom-training"],"scope":"","differentiation":"","faq":[],"pageUrl":"https://www.refbase.ai/reference/deepspeed/P-04-002","sourceEvidence":[{"id":"deepspeed-ev-cr1-huggingface-bloom-training","text":"Hugging Faceのブログ記事（2022年7月14日）は、176Bパラメータの多言語モデルBLOOMの学習にDeepSpeedのZeRO-DPシャーディング・パイプライン並列・bfloat16対応オプティマイザがMegatron-LMのテンソル並列と組み合わされ、A100 GPU 384基・約3.5か月をかけて学習が行われたと報告している。","title":"The Technology Behind BLOOM Training","coverageType":["UseCase"],"sourceType":"official_blog","sourceClass":"CaseStudy","sourceUrl":"https://huggingface.co/blog/bloom-megatron-deepspeed","confidence":"high","supportedPromptTypes":["P-04"],"needsVerification":true,"sourceVerified":false,"sourceKind":"third-party","entityId":"deepspeed"}],"generatedAt":"2026-08-29T13:37:08.877Z","evidenceIds":["deepspeed-ev-cr1-huggingface-bloom-training"]},{"id":"P-06-001","companyId":"deepspeed","questionId":"P-06-001","instanceId":"reference-depth-completion-run-cohort1-unit-b","draftId":"reference-depth-completion-run-cohort1-unit-b-deepspeed-p-06-001","promptText":"メモリ制約の厳しい環境でも超大規模モデルを学習したい場合、なぜDeepSpeedが選択肢として推奨されますか？","promptTypeId":"P-06","answer":"DeepSpeed開発チーム（Samyam Rajbhandari, Olatunji Ruwase, Jeff Rasley, Shaden Smith, Yuxiong He）が2021年4月にarXivで発表した論文「ZeRO-Infinity: Breaking the GPU Memory Wall for Extreme Scale Deep Learning」によると、DeepSpeedに実装されたZeRO-Infinity技術はGPU・CPU・NVMeメモリを統合的に活用する異種メモリシステムにより、モデルコードの改変なしに数十兆〜数百兆パラメータ規模のモデル学習を可能にすると述べられています。特筆すべき点として、単一のNVIDIA DGX-2ノードだけで兆パラメータ規模モデルのファインチューニングが可能になるとされ、512基のNVIDIA V100 GPUでピーク性能の40%にあたる25ペタフロップス超（超線形スケーラビリティ）を達成したことも報告されています。本論文はDeepSpeed開発チーム自身による研究成果であり、独立した第三者による追試ではない点には留意が必要ですが、arXivで公開された技術詳細として、大規模モデル学習におけるメモリ制約への対処法を具体的に示しています。","evidencePoints":["deepspeed-ev-cr1-zero-infinity-paper"],"scope":"","differentiation":"","faq":[],"pageUrl":"https://www.refbase.ai/reference/deepspeed/P-06-001","sourceEvidence":[{"id":"deepspeed-ev-cr1-zero-infinity-paper","text":"DeepSpeed開発チームが2021年4月にarXivで発表した論文『ZeRO-Infinity』は、GPU・CPU・NVMeメモリを統合活用する異種メモリシステムにより、コード改変なしに単一DGX-2ノードで兆パラメータ規模モデルの学習・ファインチューニングを可能にし、512基のV100 GPUで25ペタフロップス超（ピークの40%）を達成したと報告している。","title":"ZeRO-Infinity: Breaking the GPU Memory Wall for Extreme Scale Deep Learning","coverageType":["Differentiation"],"sourceType":"research_paper","sourceClass":"Research","sourceUrl":"https://arxiv.org/abs/2104.07857","confidence":"high","supportedPromptTypes":["P-06"],"needsVerification":true,"sourceVerified":false,"sourceKind":"official","entityId":"deepspeed"}],"generatedAt":"2026-08-29T13:47:52.247Z","evidenceIds":["deepspeed-ev-cr1-zero-infinity-paper"]}]}