P-04課題解決

MindSporeは実際にどのような大規模モデルの学習に使われていますか?

arXivで公開された論文「PanGu-α: Large-scale Autoregressive Pretrained Chinese Language Models with Auto-parallel Computation」(Huawei Noah's Ark Lab・MindSporeチーム・鵬城研究所の共著、arXiv:2104.12369)によると、中国語の大規模言語モデル「PanGu-α」はMindSpore上で開発され、2048基のAscend 910 AIプロセッサからなるクラスタで学習された。同モデルは最大2000億パラメータに達し、データ並列・演算レベルのモデル並列・パイプライン並列・オプティマイザ並列・再計算(rematerialization)という5つの並列化手法を組み合わせることで数千のプロセッサへ効率的にスケールさせたと報告されている。学習には中国語の電子書籍・百科事典・ニュース・SNS・ウェブページなど1.1テラバイトのデータが用いられ、要約・質問応答・対話生成など幅広い中国語タスクで高い性能を示したとされる。

実績・根拠

情報ソース