TGIとvLLMはどう違いますか？

いずれもLLMの推論サーバーですが、TGIはHugging Faceが開発し、Flash AttentionやPaged Attentionを実装してHugging Chat等の自社サービスを支えています。vLLMはUC Berkeley発のPagedAttentionを提案した推論エンジンで、より広いコミュニティ・クラウドプロバイダーで採用されています。開発元と主要な採用実績が異なります。

実績・根拠

• —ev-tgi-2
• —ev-tgi-3

向いている相談

LLM推論サーバー同士の比較検討

他の選択肢との違い

開発元と主要な採用実績の違い

よくある質問

TGIはどのモデルに対応していますか？

Llama・Falcon・StarCoder・BLOOM・GPT-NeoX等の主要オープンモデルに対応しています。

情報ソース

• Source
  Text Generation Inference · Hugging Face Docs検証待ち出典を見る
• Source
  GitHub — huggingface/text-generation-inference (README)検証待ち出典を見る