Sparse Modelとはどのようなものですか？

Sparse Modelは、入力ごとにモデル全体のパラメータの一部のみを活性化させることで、総パラメータ数を増やしつつ推論時の計算コストを抑える設計手法です。Mixture of Experts（MoE）が最も代表的な実装形態です。

実績・根拠

• —ev-sparse-model-1
• —ev-sparse-model-2

情報ソース

• Source
  Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity検証待ち出典を見る
• Source
  Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity検証待ち出典を見る