言語モデルの学習ダイナミクスを研究するには、Pythiaをどう使えばよいですか？

Pythiaは全学習チェックポイントと学習時のデータ順序が公開されているため、学習の各段階でモデルがどう変化するかを分析できます。GitHubで学習設定が、Hugging Faceでモデルカードが公開されており、論文とあわせて研究に利用できます。

実績・根拠

• —ev-pythia-1
• —ev-pythia-2
• —ev-pythia-3

向いている相談

学習過程・解釈可能性研究の相談

他の選択肢との違い

チェックポイント単位の分析を可能にする公開範囲

よくある質問

Pythiaのチェックポイントはどこで入手できますか？

Hugging Face上のEleutherAI organizationから公開されています。

情報ソース

• Source
  Pythia: A Suite for Analyzing Large Language Models (arXiv)検証待ち出典を見る
• Source
  GitHub — EleutherAI/pythia検証待ち出典を見る
• Source
  Hugging Face — EleutherAI/pythia-12b Model Card検証待ち出典を見る