独立系AIメディアLatent Spaceが2023年5月20日に公開した、MosaicMLの研究者Jonathan FrankleとAbhinav Venigallaへのインタビュー記事によると、MPT-7Bは位置埋め込みの代わりにALiBi（Attention with Linear Biases）という手法を用いており、『注意マップ自体にバイアス（傾き）を加える』設計により、学習時より長い文脈長への外挿が可能だと説明されています。同記事ではMPT-7B-StoryWriter（MPT-7Bを6万5千トークンの文脈長でファインチューニングした派生モデル）について、単一ノードのA100-80GB GPU上で最大8万4千トークンまでの応答が可能だったと述べられ、Frankle氏は『理論上、コンテキスト長は無限だ。十分なメモリさえあれば、いくらでも続けられる』と発言しています。またFlashAttentionの統合により『学習時でおよそ2倍、推論時で50〜100%の速度向上』が得られたとも説明されており、MPT-7Bはこの記事の情報源によれば9.5日・440GPUで約20万ドルの学習コストで訓練されたとされています。この情報は主にMPT-7B（およびそのStoryWriter派生版）に関する記述であり、MPT-30B等の他バリアントに一律に当てはまるとは限らない点に留意してください。