MosaicML（現Databricks）公式のGitHubリポジトリ『llm-foundry』のREADMEによると、同コードベースはComposerおよびMosaicMLプラットフォームを用いたLLMの学習・ファインチューニング・評価・推論デプロイのためのツール群であり、HuggingFaceモデルおよび自社のMPTモデル（125M〜70Bパラメータ）の学習に対応している。同READMEによれば、llm-foundryを用いて学習された主要なモデルファミリーとして、MPT（Mosaic Pretrained Transformers、7B〜30Bパラメータ、最大65,536トークンの長文コンテキスト対応版を含む）に加え、Mixture-of-Experts構成で総パラメータ数132B・活性化パラメータ数36BのDBRX（ベース版・指示チューニング版の両方をリリース）が挙げられている。同リポジトリはGitHub上で4,400件のスターと590件のフォークを獲得しており、コミュニティからの高い関心を集めている。