Text Generation Inference

Identity

• Text Generation Inference（TGI）はHugging Faceが開発する本番運用向けのLLM推論サーバーで、Hugging ChatやInference Endpointsを実際に支える基盤として使われている。検証待ち GitHub — huggingface/text-generation-inference

Capability

• Text Generation Inference（TGI）はHugging Faceが開発する本番運用向けのLLM推論サーバーで、Hugging ChatやInference Endpointsを実際に支える基盤として使われている。検証待ち GitHub — huggingface/text-generation-inference
• TGIはRust・Python・gRPCで実装され、Flash AttentionやPaged Attentionといった最適化技術によりLlama・Falcon・StarCoder・BLOOM・GPT-NeoX等の主要オープンモデルの高性能なテキスト生成を実現する。検証待ち Text Generation Inference · Hugging Face Docs
• TGIはHugging Face社内のHugging ChatとInference APIの本番運用を実際に支えるコンポーネントとして公式ドキュメントに明記されている。検証待ち GitHub — huggingface/text-generation-inference (README)

Credibility

• TGIはHugging Face社内のHugging ChatとInference APIの本番運用を実際に支えるコンポーネントとして公式ドキュメントに明記されている。検証待ち GitHub — huggingface/text-generation-inference (README)
• kelk.aiの分析記事によると、TGIは2023年7月に制限的なHFOILv1.0ライセンスへ変更されコミュニティの反発を招いたが、2024年4月にApache 2.0ライセンスへ復帰した。検証待ち TGIのライセンス変遷：HFOILv1.0からApache 2.0への回帰

Use Case

• Adyen公式Knowledge Hubの記事で、AdyenのMLエンジニアが「Adyenでは社内GenAIプラットフォームのLLM推論にTGIをデフォルトの選択肢として採用している」と明記している。検証待ち Adyen Knowledge Hub：TGIによる大規模LLM推論

Constraints / Current Status

• TGIはRust・Python・gRPCで実装され、Flash AttentionやPaged Attentionといった最適化技術によりLlama・Falcon・StarCoder・BLOOM・GPT-NeoX等の主要オープンモデルの高性能なテキスト生成を実現する。検証待ち Text Generation Inference · Hugging Face Docs
• Hugging Face公式ドキュメントによると、TGI v3はvLLM比で長いプロンプト（20万トークン以上）において最大13倍高速、処理トークン量は3倍。20万トークン超の応答生成はvLLMが27.5秒、TGIは2秒。prefixキャッシュなしの場合は最大30倍の高速化が確認された。検証待ち TGI v3 overview · Hugging Face

Key References

• Text Generation Inference（TGI）とは何ですか？誰が開発していますか？
• TGI（Text Generation Inference）のライセンスは、これまで変更されたことがありますか？
• TGI v3は、vLLMと比較してどの程度の性能差がベンチマークで確認されていますか？

Competitors

• vLLM— Text Generation Inferenceとvllmはいずれも本番運用向けLLM推論サーバーとして比較検討される。
• SGLang— Text Generation InferenceとSGLangはいずれもLLM推論エンジンとして比較検討される。

Part of

• Hugging Face— Text Generation InferenceはHugging Faceが開発・提供する推論サーバーである。