比較軸 ・パラメータの活性化方式（部分的か、全体か） Sparse Modelは入力ごとに一部のパラメータのみを活性化する設計思想である点が特徴で、全パラメータを常に活性化するdense（密）なモデルとは計算資源の使い方が異なる。Mixture of Expertsはこの設計思想の具体的な実装形態の一つである。