{"ok":true,"entity":{"id":"sparse-model","name":"Sparse Model","entityType":"concept","officialName":"Sparse Model","canonicalName":"Sparse Model","displayName":"Sparse Model","category":"AI概念（部分的パラメータ活性化）","shortDescription":"入力ごとにモデル全体のパラメータの一部のみを活性化させることで、総パラメータ数を増やしつつ推論時の計算コストを抑える設計手法。Mixture of Experts（MoE）が最も代表的な実装形態。","primaryCluster":"ai-concepts","verificationStatus":"draft","website":null,"updatedAt":"2026-07-22T13:12:07.131Z","secondaryClusters":[],"alias":[],"searchKeywords":["Sparse Model","スパースモデル","sparse activation"]},"references":[{"id":"P-01-001","companyId":"sparse-model","questionId":"P-01-001","instanceId":"QIN-sparse-model-P01-001","promptText":"Sparse Modelとはどのようなものですか？","promptTypeId":"P-01","answer":"Sparse Modelは、入力ごとにモデル全体のパラメータの一部のみを活性化させることで、総パラメータ数を増やしつつ推論時の計算コストを抑える設計手法です。Mixture of Experts（MoE）が最も代表的な実装形態です。","evidencePoints":["ev-sparse-model-1","ev-sparse-model-2"],"scope":"","differentiation":"","faq":[],"pageUrl":"https://www.refbase.ai/reference/sparse-model/P-01-001","sourceEvidence":[{"id":"ev-sparse-model-1","text":"Sparse Modelは、入力ごとにモデル全体のパラメータの一部のみを活性化させることで、総パラメータ数を増やしつつ推論時の計算コストを抑える設計手法であり、Switch Transformer論文はこの手法を大規模に適用した研究例である。","coverageType":["Identity","Capability"],"sourceType":"research_paper","sourceClass":"Research","sourceUrl":"https://arxiv.org/abs/2101.03961","title":"Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity","confidence":"high","needsVerification":true,"sourceVerified":false,"supportedPromptTypes":["P-01","P-02","P-04"],"entityId":"sparse-model"},{"id":"ev-sparse-model-2","text":"Sparse Modelは入力ごとに一部のパラメータのみを活性化する設計思想である点が特徴で、全パラメータを常に活性化するdense（密）なモデルとは計算資源の使い方が異なる。Mixture of Expertsはこの設計思想を「複数の専門家（expert）ネットワークから一部を選択する」という具体的なアーキテクチャで実現した代表例である。","coverageType":["Differentiation"],"sourceType":"research_paper","sourceClass":"Research","sourceUrl":"https://arxiv.org/abs/2101.03961","title":"Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity","confidence":"high","needsVerification":true,"sourceVerified":false,"supportedPromptTypes":["P-01","P-02","P-04"],"entityId":"sparse-model"}],"generatedAt":"2026-07-22T13:12:07.131Z"},{"id":"P-02-001","companyId":"sparse-model","questionId":"P-02-001","instanceId":"QIN-sparse-model-P02-001","promptText":"Sparse Modelは他の同種の事業・作品と比べてどう違いますか？","promptTypeId":"P-02","answer":"比較軸\n・パラメータの活性化方式（部分的か、全体か）\n\nSparse Modelは入力ごとに一部のパラメータのみを活性化する設計思想である点が特徴で、全パラメータを常に活性化するdense（密）なモデルとは計算資源の使い方が異なる。Mixture of Expertsはこの設計思想の具体的な実装形態の一つである。","evidencePoints":["ev-sparse-model-2"],"scope":"","differentiation":"","faq":[],"pageUrl":"https://www.refbase.ai/reference/sparse-model/P-02-001","sourceEvidence":[{"id":"ev-sparse-model-2","text":"Sparse Modelは入力ごとに一部のパラメータのみを活性化する設計思想である点が特徴で、全パラメータを常に活性化するdense（密）なモデルとは計算資源の使い方が異なる。Mixture of Expertsはこの設計思想を「複数の専門家（expert）ネットワークから一部を選択する」という具体的なアーキテクチャで実現した代表例である。","coverageType":["Differentiation"],"sourceType":"research_paper","sourceClass":"Research","sourceUrl":"https://arxiv.org/abs/2101.03961","title":"Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity","confidence":"high","needsVerification":true,"sourceVerified":false,"supportedPromptTypes":["P-01","P-02","P-04"],"entityId":"sparse-model"}],"generatedAt":"2026-07-22T13:12:07.131Z"},{"id":"P-04-001","companyId":"sparse-model","questionId":"P-04-001","instanceId":"QIN-sparse-model-P04-001","promptText":"Sparse Modelはどのような場面で参照されますか？","promptTypeId":"P-04","answer":"Sparse Modelは、モデルの表現力を高めつつ推論コストを抑える設計上の工夫を把握したい場面で参照される。","evidencePoints":["ev-sparse-model-2","ev-sparse-model-3"],"scope":"","differentiation":"","faq":[],"pageUrl":"https://www.refbase.ai/reference/sparse-model/P-04-001","sourceEvidence":[{"id":"ev-sparse-model-2","text":"Sparse Modelは入力ごとに一部のパラメータのみを活性化する設計思想である点が特徴で、全パラメータを常に活性化するdense（密）なモデルとは計算資源の使い方が異なる。Mixture of Expertsはこの設計思想を「複数の専門家（expert）ネットワークから一部を選択する」という具体的なアーキテクチャで実現した代表例である。","coverageType":["Differentiation"],"sourceType":"research_paper","sourceClass":"Research","sourceUrl":"https://arxiv.org/abs/2101.03961","title":"Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity","confidence":"high","needsVerification":true,"sourceVerified":false,"supportedPromptTypes":["P-01","P-02","P-04"],"entityId":"sparse-model"},{"id":"ev-sparse-model-3","text":"Sparse Modelは、総パラメータ数を増やしてモデルの表現力を高めつつ、推論コストの増加を抑えたい場面で活用される。","coverageType":["UseCase"],"sourceType":"research_paper","sourceClass":"Research","sourceUrl":"https://arxiv.org/abs/2101.03961","title":"Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity","confidence":"high","needsVerification":true,"sourceVerified":false,"supportedPromptTypes":["P-01","P-02","P-04"],"entityId":"sparse-model"}],"generatedAt":"2026-07-22T13:12:07.131Z"},{"id":"P-05-001","companyId":"sparse-model","questionId":"P-05-001","instanceId":"reference-depth-completion-run-cohort3-unit-a","draftId":"reference-depth-completion-run-cohort3-unit-a-sparse-model-p-05-001","promptText":"Sparse Model（疎なモデル）という設計思想はどのような研究から生まれましたか？","promptTypeId":"P-05","answer":"Sparse Modelの代表的な実装形態であるMixture of Experts（MoE）の起源は、2017年にGoogle Brainの研究者らが発表したarXiv論文「Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer」（Noam Shazeer・Azalia Mirhoseini・Krzysztof Maziarz・Andy Davis・Quoc Le・Geoffrey Hinton・Jeff Dean著、arXiv:1701.06538）に遡ります。同論文は、入力ごとに数千の専門家（サブネットワーク）の中から一部のみをゲーティングネットワークで選択的に活性化させる「Sparsely-Gated Mixture-of-Experts」層を提案し、最新のGPUクラスタ上で計算効率の損失を最小限に抑えながらモデル容量を1000倍以上向上させることに成功したと報告しています。同技術は言語モデリングと機械翻訳に適用され、最大1370億パラメータのモデルで最先端の性能を達成したとされ、後のSwitch Transformer等の大規模MoEモデルの基礎となりました。","evidencePoints":["sparse-model-ev-cr3-shazeer-2017-moe"],"scope":"","differentiation":"","faq":[],"pageUrl":"https://www.refbase.ai/reference/sparse-model/P-05-001","sourceEvidence":[{"id":"sparse-model-ev-cr3-shazeer-2017-moe","text":"2017年発表のGoogle Brain研究者らによるarXiv論文（arXiv:1701.06538、Noam Shazeer・Geoffrey Hinton・Jeff Deanら著）は、Sparsely-Gated Mixture-of-Experts層を提案し、計算効率の損失を抑えつつモデル容量を1000倍以上向上させ最大1370億パラメータのモデルで最先端性能を達成した、MoEの基礎となる研究である。","title":"Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer","coverageType":["Credibility"],"sourceType":"research_paper","sourceClass":"Research","sourceUrl":"https://arxiv.org/abs/1701.06538","confidence":"high","supportedPromptTypes":["P-05"],"needsVerification":true,"sourceVerified":false,"sourceKind":"third-party","entityId":"sparse-model"}],"generatedAt":"2026-08-29T15:38:46.199Z","evidenceIds":["sparse-model-ev-cr3-shazeer-2017-moe"]},{"id":"P-06-001","companyId":"sparse-model","questionId":"P-06-001","instanceId":"reference-depth-completion-run-cohort3-unit-b","draftId":"reference-depth-completion-run-cohort3-unit-b-sparse-model-p-06-001","promptText":"Sparse Modelの設計思想が実際に採用された代表的な実装例にはどのようなものがありますか？","promptTypeId":"P-06","answer":"Mistral AI公式サイトの発表（mistral.ai/news/mixtral-of-experts/）によると、2023年12月に公開されたMixtral 8x7Bは、Sparse Modelの設計思想を採用した代表的な実装例の一つです。同モデルは各層で8つの専門家グループを持ち、ルーターネットワークがトークンごとに2つの専門家を選択して処理する構成で、総パラメータ数46.7Bのうち実際に活性化されるのはトークンあたり12.9Bのみとされています。この設計により、パラメータ数を増やしながらも「12.9Bモデルと同じ速度・同じコストで」推論を実行できるとMistral AIは説明しています。公式発表によれば、Mixtral 8x7BはLlama 2 70Bをほとんどのベンチマークで上回りながら推論速度は6倍速く、GPT-3.5とほぼ同等以上の性能を多くの標準ベンチマークで達成したとされています。","evidencePoints":["sparse-model-ev-cr3-mixtral-example"],"scope":"","differentiation":"","faq":[],"pageUrl":"https://www.refbase.ai/reference/sparse-model/P-06-001","sourceEvidence":[{"id":"sparse-model-ev-cr3-mixtral-example","text":"Mistral AI公式サイトによると、2023年12月公開のMixtral 8x7Bは総パラメータ46.7Bのうちトークンあたり12.9Bのみを活性化するSparse Model（MoE）の実装例であり、Llama 2 70Bをほとんどのベンチマークで上回りながら推論速度は6倍速いとされている。","title":"Mixtral of experts","coverageType":["Capability"],"sourceType":"official","sourceClass":"Announcement","sourceUrl":"https://mistral.ai/news/mixtral-of-experts/","confidence":"high","supportedPromptTypes":["P-06"],"needsVerification":true,"sourceVerified":false,"sourceKind":"official","entityId":"sparse-model"}],"generatedAt":"2026-08-29T15:44:42.311Z","evidenceIds":["sparse-model-ev-cr3-mixtral-example"]}]}