Sparse Model

Identity

• Sparse Modelは、入力ごとにモデル全体のパラメータの一部のみを活性化させることで、総パラメータ数を増やしつつ推論時の計算コストを抑える設計手法であり、Switch Transformer論文はこの手法を大規模に適用した研究例である。検証待ち Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity

Capability

• Sparse Modelは、入力ごとにモデル全体のパラメータの一部のみを活性化させることで、総パラメータ数を増やしつつ推論時の計算コストを抑える設計手法であり、Switch Transformer論文はこの手法を大規模に適用した研究例である。検証待ち Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity
• Mistral AI公式サイトによると、2023年12月公開のMixtral 8x7Bは総パラメータ46.7Bのうちトークンあたり12.9Bのみを活性化するSparse Model（MoE）の実装例であり、Llama 2 70Bをほとんどのベンチマークで上回りながら推論速度は6倍速いとされている。検証待ち Mixtral of experts

Credibility

• 2017年発表のGoogle Brain研究者らによるarXiv論文（arXiv:1701.06538、Noam Shazeer・Geoffrey Hinton・Jeff Deanら著）は、Sparsely-Gated Mixture-of-Experts層を提案し、計算効率の損失を抑えつつモデル容量を1000倍以上向上させ最大1370億パラメータのモデルで最先端性能を達成した、MoEの基礎となる研究である。検証待ち Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer

Use Case

• Sparse Modelは、総パラメータ数を増やしてモデルの表現力を高めつつ、推論コストの増加を抑えたい場面で活用される。検証待ち Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity

Constraints / Current Status

• Sparse Modelは入力ごとに一部のパラメータのみを活性化する設計思想である点が特徴で、全パラメータを常に活性化するdense（密）なモデルとは計算資源の使い方が異なる。Mixture of Expertsはこの設計思想を「複数の専門家（expert）ネットワークから一部を選択する」という具体的なアーキテクチャで実現した代表例である。検証待ち Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity

Key References

• Sparse Modelの設計思想が実際に採用された代表的な実装例にはどのようなものがありますか？
• Sparse Model（疎なモデル）という設計思想はどのような研究から生まれましたか？
• Sparse Modelとはどのようなものですか？

Related

• 混合エキスパート（Mixture of Experts）— Mixture of Expertsは、Sparse Modelという設計思想を「複数の専門家ネットワークから一部を選択する」という具体的なアーキテクチャで実現した代表的な実装形態である。