混合エキスパート（Mixture of Experts）

Identity

• 混合エキスパート（MoE）は、入力に応じて一部の専門家（サブネットワーク）だけを選んで動作させることで、計算効率を高めるモデル構造である。検証待ち Outrageously Large Neural Networks: MoE Layer（arXiv:1701.06538）

Capability

• 混合エキスパート（MoE）は、入力に応じて一部の専門家（サブネットワーク）だけを選んで動作させることで、計算効率を高めるモデル構造である。検証待ち Outrageously Large Neural Networks: MoE Layer（arXiv:1701.06538）
• MoEは全パラメータを常に使う密なモデルと異なり、必要な専門家のみを活性化することで大規模化と効率を両立する点が特徴である。検証待ち 同上（arXiv:1701.06538）

Credibility

公開Evidence未整備

Use Case

公開Evidence未整備

Constraints / Current Status

• MoEは全パラメータを常に使う密なモデルと異なり、必要な専門家のみを活性化することで大規模化と効率を両立する点が特徴である。検証待ち 同上（arXiv:1701.06538）

Key References

• 混合エキスパート（Mixture of Experts）とは何ですか？
• MoEは通常の（密な）モデルと何が違いますか？
• MoEはどんな場面で役立ちますか？

Related

• Mistral— MistralのMixtralは混合エキスパート（MoE）構成を採用する。
• 大規模言語モデル（LLM）— MoEは大規模言語モデルの効率化構造として使われる。
• DBRX— DBRXは混合エキスパート（MoE）構成を採用する大規模言語モデルである。
• Sparse Model— Mixture of Expertsは、Sparse Modelという設計思想を「複数の専門家ネットワークから一部を選択する」という具体的なアーキテクチャで実現した代表的な実装形態である。