MPT

Identity

• MosaicMLは、MosaicML Pretrained Transformerシリーズの基盤モデルとしてMPT-7Bを公開しました。検証待ち Introducing MPT-7B | Databricks Blog
• MosaicML公式ブログ（databricks.com/blog/mpt-30b）によれば、MPT-30BはApache 2.0、MPT-30B-InstructはCC-By-SA-3.0（いずれも商用利用可）、MPT-30B-ChatはCC-By-NC-SA-4.0（非商用）というように、モデルごとに異なるライセンスで公開されている。検証待ち MPT-30B | Databricks Blog

Capability

• MosaicMLは、MosaicML Pretrained Transformerシリーズの基盤モデルとしてMPT-7Bを公開しました。検証待ち Introducing MPT-7B | Databricks Blog
• MPT-7BはApache 2.0ライセンスの商用利用可能モデルとして公開当時、最もダウンロードされたオープンLLMとなり、9.5日・約20万ドルのコストで学習されたと報告されている。検証待ち mosaicml/mpt-7b · Hugging Face
• MPT-7Bの学習基盤とアーキテクチャの詳細はMosaicMLのllm-foundryリポジトリで公開されており、後にDatabricksのDBRX等の後継開発にも接続する系譜として位置づけられる。検証待ち GitHub — mosaicml/llm-foundry

Credibility

• MPT-7Bの学習基盤とアーキテクチャの詳細はMosaicMLのllm-foundryリポジトリで公開されており、後にDatabricksのDBRX等の後継開発にも接続する系譜として位置づけられる。検証待ち GitHub — mosaicml/llm-foundry
• TechCrunchの記事によると、MPT-7Bは330万回のダウンロードを記録した。開発元MosaicMLは2023年6月にDatabricksへ13億ドルで買収され、直前の評価額2億2,200万ドルから約6倍に上昇した。MosaicMLはそれ以前に約6,400万ドルを調達していた。検証待ち Databricks picks up MosaicML, an OpenAI competitor, for $1.3B（TechCrunch）

Use Case

公開Evidence未整備

Constraints / Current Status

• MPT-7BはApache 2.0ライセンスの商用利用可能モデルとして公開当時、最もダウンロードされたオープンLLMとなり、9.5日・約20万ドルのコストで学習されたと報告されている。検証待ち mosaicml/mpt-7b · Hugging Face
• MosaicMLの研究者へのLatent Spaceインタビューによると、MPT-7Bは位置埋め込みの代わりにALiBiを用いることで学習時より長い文脈への外挿を可能にしている。派生版MPT-7B-StoryWriterは単一ノードのA100-80GB GPUで最大8.4万トークンの応答を実証。FlashAttention統合により学習時で約2倍の速度向上を実現し、学習コストは9.5日・440GPUで約20万ドルとされる。検証待ち MPT-7B and The Beginning of Context=Infinity — with Jonathan Frankle and Abhinav Venigalla of MosaicML（Latent Space）

Key References

• MPT-30B、MPT-30B-Instruct、MPT-30B-Chatはそれぞれどのようなライセンスで公開されており、それを直接確認できる一次情報はどこにありますか？
• MPTとはどのようなモデルですか？誰が開発していますか？
• MPTを開発したMosaicMLは現在どのような状況で、MPTはどれくらい普及していますか？

Part of

• MosaicML— MPTはMosaicMLが開発・公開したオープンLLMファミリーである。