混合エキスパート（Mixture of Experts）とは何ですか？

混合エキスパート（MoE）は、入力に応じて一部の専門家（サブネットワーク）だけを選んで動作させることで、計算効率を高めるモデル構造です。MixtralなどのLLMで使われます。

実績・根拠

• —ev-mixture-of-experts-1

向いている相談

モデル構造を知りたい相談

他の選択肢との違い

必要な専門家だけを動かす

よくある質問

どのモデルが使っていますか？

MistralのMixtralなど、複数のLLMで採用されています。

情報ソース

• Source
  Outrageously Large Neural Networks: MoE Layer（arXiv:1701.06538）検証待ち出典を見る