arXivで公開されたDeepSeek-AIの技術報告書『DeepSeek-V3 Technical Report』（arXiv:2412.19437）によると、DeepSeek-V3はMixture-of-Experts（MoE）設計を採用した大規模言語モデルで、総パラメータ数671B（6710億）のうち、トークンごとに実際に活性化されるパラメータは37B（370億）にとどまる。同報告書によれば、ルーティングされるエキスパートのうちトークンごとに8個のエキスパートが活性化され、各トークンは最大4ノードまでにしか送られないよう制御される。DeepSeek-V3はさらに、負荷分散のための補助損失を使わない戦略（auxiliary-loss-free）や、マルチトークン予測という学習目標を導入し、14.8兆トークンの多様で高品質なデータで事前学習された。この事例は、MoEアーキテクチャが総パラメータ数と実際の計算コストを大きく引き離せることを示す具体例である。