Jambaは、AI21 Labsが開発する、Transformerと状態空間モデル(Mamba)を組み合わせた大規模言語モデルです。長文処理を狙います。
新しいアーキテクチャのLLMを知りたい相談
TransformerとMambaの融合