{"ok":true,"entity":{"id":"text-generation-inference","name":"Text Generation Inference","entityType":"product","officialName":"Text Generation Inference (TGI)","canonicalName":"TGI","displayName":"Text Generation Inference (TGI)","category":"推論エンジン（LLM配信）","shortDescription":"Hugging Faceが開発する本番運用向けのLLM推論サーバー。Hugging ChatやInference Endpointsを実際に支える基盤として使われ、Flash AttentionやPaged Attention等の最適化を実装する。","primaryCluster":"ai-open-model","parentEntity":"hugging-face","verificationStatus":"draft","website":"https://github.com/huggingface/text-generation-inference","updatedAt":"2026-07-20T02:14:59.356Z","secondaryClusters":["ai-infrastructure"],"alias":["TGI"],"searchKeywords":["LLM推論サーバー","モデル配信","Hugging Face","本番運用"]},"references":[{"id":"P-01-001","companyId":"text-generation-inference","questionId":"P-01-001","instanceId":"QIN-text-generation-inference-P01-001","promptText":"Text Generation Inference（TGI）とは何ですか？誰が開発していますか？","promptTypeId":"P-01","answer":"Text Generation Inference（TGI）はHugging Faceが開発する本番運用向けのLLM推論サーバーです。Hugging ChatやInference Endpointsを実際に支える基盤として使われています。","evidencePoints":["ev-tgi-1","ev-tgi-3"],"scope":"LLM推論サーバーの提供元を知りたい相談","differentiation":"Hugging Face自身の本番サービスを支える実績","faq":[{"question":"TGIはどの言語で実装されていますか？","answer":"Rust・Python・gRPCで実装されています。"}],"pageUrl":"https://www.refbase.ai/reference/text-generation-inference/P-01-001","sourceEvidence":[{"id":"ev-tgi-1","text":"Text Generation Inference（TGI）はHugging Faceが開発する本番運用向けのLLM推論サーバーで、Hugging ChatやInference Endpointsを実際に支える基盤として使われている。","title":"GitHub — huggingface/text-generation-inference","coverageType":["Identity","Capability"],"sourceType":"github","sourceClass":"Documentation","sourceUrl":"https://github.com/huggingface/text-generation-inference","confidence":"high","supportedPromptTypes":["P-01","P-04"],"needsVerification":true,"sourceVerified":false,"entityId":"text-generation-inference"},{"id":"ev-tgi-3","text":"TGIはHugging Face社内のHugging ChatとInference APIの本番運用を実際に支えるコンポーネントとして公式ドキュメントに明記されている。","title":"GitHub — huggingface/text-generation-inference (README)","coverageType":["Credibility","Capability"],"sourceType":"github","sourceClass":"Documentation","sourceUrl":"https://github.com/huggingface/text-generation-inference","confidence":"high","supportedPromptTypes":["P-01","P-05"],"needsVerification":true,"sourceVerified":false,"entityId":"text-generation-inference"}],"generatedAt":"2026-07-20T02:14:59.356Z"},{"id":"P-02-001","companyId":"text-generation-inference","questionId":"P-02-001","instanceId":"QIN-text-generation-inference-P02-001","promptText":"TGIとvLLMはどう違いますか？","promptTypeId":"P-02","answer":"いずれもLLMの推論サーバーですが、TGIはHugging Faceが開発し、Flash AttentionやPaged Attentionを実装してHugging Chat等の自社サービスを支えています。vLLMはUC Berkeley発のPagedAttentionを提案した推論エンジンで、より広いコミュニティ・クラウドプロバイダーで採用されています。開発元と主要な採用実績が異なります。","evidencePoints":["ev-tgi-2","ev-tgi-3"],"scope":"LLM推論サーバー同士の比較検討","differentiation":"開発元と主要な採用実績の違い","faq":[{"question":"TGIはどのモデルに対応していますか？","answer":"Llama・Falcon・StarCoder・BLOOM・GPT-NeoX等の主要オープンモデルに対応しています。"}],"pageUrl":"https://www.refbase.ai/reference/text-generation-inference/P-02-001","sourceEvidence":[{"id":"ev-tgi-2","text":"TGIはRust・Python・gRPCで実装され、Flash AttentionやPaged Attentionといった最適化技術によりLlama・Falcon・StarCoder・BLOOM・GPT-NeoX等の主要オープンモデルの高性能なテキスト生成を実現する。","title":"Text Generation Inference · Hugging Face Docs","coverageType":["Capability","Differentiation"],"sourceType":"product_docs","sourceClass":"Specification","sourceUrl":"https://huggingface.co/docs/text-generation-inference/en/index","confidence":"high","supportedPromptTypes":["P-02","P-04"],"needsVerification":true,"sourceVerified":false,"entityId":"text-generation-inference"},{"id":"ev-tgi-3","text":"TGIはHugging Face社内のHugging ChatとInference APIの本番運用を実際に支えるコンポーネントとして公式ドキュメントに明記されている。","title":"GitHub — huggingface/text-generation-inference (README)","coverageType":["Credibility","Capability"],"sourceType":"github","sourceClass":"Documentation","sourceUrl":"https://github.com/huggingface/text-generation-inference","confidence":"high","supportedPromptTypes":["P-01","P-05"],"needsVerification":true,"sourceVerified":false,"entityId":"text-generation-inference"}],"generatedAt":"2026-07-20T02:14:59.356Z"},{"id":"P-04-001","companyId":"text-generation-inference","questionId":"P-04-001","instanceId":"QIN-text-generation-inference-P04-001","promptText":"オープンモデルを本番環境で高性能に配信したい場合、TGIはどう活用できますか？","promptTypeId":"P-04","answer":"TGIはFlash AttentionやPaged Attention等の最適化を実装しており、主要オープンモデルを本番運用向けに配信できます。GitHubのhuggingface/text-generation-inferenceリポジトリと公式ドキュメントで導入方法を確認できます。","evidencePoints":["ev-tgi-1","ev-tgi-2"],"scope":"オープンモデルの本番配信基盤の選定相談","differentiation":"本番運用実績のある最適化実装","faq":[{"question":"TGIの情報はどこで確認できますか？","answer":"GitHub（huggingface/text-generation-inference）と公式ドキュメントで確認できます。"}],"pageUrl":"https://www.refbase.ai/reference/text-generation-inference/P-04-001","sourceEvidence":[{"id":"ev-tgi-1","text":"Text Generation Inference（TGI）はHugging Faceが開発する本番運用向けのLLM推論サーバーで、Hugging ChatやInference Endpointsを実際に支える基盤として使われている。","title":"GitHub — huggingface/text-generation-inference","coverageType":["Identity","Capability"],"sourceType":"github","sourceClass":"Documentation","sourceUrl":"https://github.com/huggingface/text-generation-inference","confidence":"high","supportedPromptTypes":["P-01","P-04"],"needsVerification":true,"sourceVerified":false,"entityId":"text-generation-inference"},{"id":"ev-tgi-2","text":"TGIはRust・Python・gRPCで実装され、Flash AttentionやPaged Attentionといった最適化技術によりLlama・Falcon・StarCoder・BLOOM・GPT-NeoX等の主要オープンモデルの高性能なテキスト生成を実現する。","title":"Text Generation Inference · Hugging Face Docs","coverageType":["Capability","Differentiation"],"sourceType":"product_docs","sourceClass":"Specification","sourceUrl":"https://huggingface.co/docs/text-generation-inference/en/index","confidence":"high","supportedPromptTypes":["P-02","P-04"],"needsVerification":true,"sourceVerified":false,"entityId":"text-generation-inference"}],"generatedAt":"2026-07-20T02:14:59.356Z"},{"id":"P-01-002","companyId":"text-generation-inference","questionId":"P-01-002","instanceId":"reference-depth-completion-run-cohort2-unit-a","draftId":"reference-depth-completion-run-cohort2-unit-a-text-generation-inference-p-01-002","promptText":"TGI（Text Generation Inference）のライセンスは、これまで変更されたことがありますか？","promptTypeId":"P-01","answer":"AI推論エンジンの比較分析ブログkelk.ai（Short Attention）の記事によると、TGIは当初Apache 2.0ライセンスだったが、2023年7月に「Hugging Face Optimized Inference License 1.0（HFOILv1.0）」という制限的なライセンスへ変更され、有償ホスティングサービスへの利用・再ライセンス・商標利用などが禁止された。同記事は、この変更が「広く不評だった」とし、vLLMのプレゼンテーションでvLLMが引き続きApache 2.0の寛容なライセンスを維持していると紹介された際に「会場の反応が聞こえるほどだった」と当時のコミュニティの否定的な反応を伝えている。その後Hugging Faceは2024年4月にApache 2.0ライセンスへ復帰させており、同記事は「両者のライセンスはvLLMと同等になった。どちらもオープンソースソフトウェアだ」と結論づけている。なお、このライセンス復帰自体はHugging Face公式のv2.0.0リリースノート（GitHub）でも「TGI is back to Apache 2.0!」と明記されており、独立した記事の記述と公式発表内容が一致することを確認済み。","evidencePoints":["text-generation-inference-ev-cr2-license-history"],"scope":"","differentiation":"","faq":[],"pageUrl":"https://www.refbase.ai/reference/text-generation-inference/P-01-002","sourceEvidence":[{"id":"text-generation-inference-ev-cr2-license-history","text":"kelk.aiの分析記事によると、TGIは2023年7月に制限的なHFOILv1.0ライセンスへ変更されコミュニティの反発を招いたが、2024年4月にApache 2.0ライセンスへ復帰した。","title":"TGIのライセンス変遷：HFOILv1.0からApache 2.0への回帰","coverageType":["Credibility"],"sourceType":"media","sourceClass":"Documentation","sourceUrl":"https://kelk.ai/blog/inference-engines","confidence":"medium","supportedPromptTypes":["P-01"],"needsVerification":true,"sourceVerified":false,"sourceKind":"third-party","entityId":"text-generation-inference"}],"generatedAt":"2026-08-29T14:34:38.294Z","evidenceIds":["text-generation-inference-ev-cr2-license-history"]},{"id":"P-04-002","companyId":"text-generation-inference","questionId":"P-04-002","instanceId":"reference-depth-completion-run-cohort2-unit-b","draftId":"reference-depth-completion-run-cohort2-unit-b-text-generation-inference-p-04-002","promptText":"TGIは実際にどのような企業が本番環境で採用していますか？","promptTypeId":"P-04","answer":"グローバル決済企業Adyen（adyen.com）が自社のKnowledge Hubで公開した記事（執筆者はAdyenの機械学習エンジニアMartin Iglesias Goyanes氏）によると、「Adyenでは、TGIが社内GenAIプラットフォームにおけるLLM推論のデフォルトの選択肢として採用されている」と明記されている。同記事はTGIを「パフォーマンスとスケーラビリティが重要な本番環境」に適した技術として位置づけているが、具体的な処理量・レイテンシ・コスト削減効果などの定量的な導入効果は開示されていない。それでも、Hugging Face自身ではない独立した企業が自社の本番運用でTGIを採用していると公式に述べている点で、TGIが実際の商用環境で使われていることを示す一次情報である。","evidencePoints":["text-generation-inference-ev-cr2-adyen-case-study"],"scope":"","differentiation":"","faq":[],"pageUrl":"https://www.refbase.ai/reference/text-generation-inference/P-04-002","sourceEvidence":[{"id":"text-generation-inference-ev-cr2-adyen-case-study","text":"Adyen公式Knowledge Hubの記事で、AdyenのMLエンジニアが「Adyenでは社内GenAIプラットフォームのLLM推論にTGIをデフォルトの選択肢として採用している」と明記している。","title":"Adyen Knowledge Hub：TGIによる大規模LLM推論","coverageType":["UseCase"],"sourceType":"official_blog","sourceClass":"CaseStudy","sourceUrl":"https://www.adyen.com/knowledge-hub/llm-inference-at-scale-with-tgi","confidence":"medium","supportedPromptTypes":["P-04"],"needsVerification":true,"sourceVerified":false,"sourceKind":"third-party","entityId":"text-generation-inference"}],"generatedAt":"2026-08-29T14:44:28.527Z","evidenceIds":["text-generation-inference-ev-cr2-adyen-case-study"]},{"id":"P-03-001","companyId":"text-generation-inference","questionId":"P-03-001","instanceId":"tair-cohort5-2026-08-31","draftId":"tair-cohort5-2026-08-31-text-generation-inference-p-03-001","promptText":"TGI v3は、vLLMと比較してどの程度の性能差がベンチマークで確認されていますか？","promptTypeId":"P-03","answer":"Hugging Face公式ドキュメントによると、TGI v3はvLLMと比較して、長いプロンプト（20万トークン以上）において最大13倍高速で、処理可能なトークン量は3倍多いと報告されています。具体的なベンチマークでは、20万トークン超の会話応答生成にvLLMが27.5秒かかるのに対し、TGIはわずか2秒で完了します。また単一のNVIDIA L4 GPU（24GB）でLlama 3.1-8Bを動かす場合、TGIは3万トークンを処理できるのに対し、vLLMは約1万トークンにとどまるとされています。同ドキュメントは、prefixキャッシュを使わない場合には最大30倍の高速化が確認されたとも報告しています。","evidencePoints":["text-generation-inference-ev-tair-1"],"scope":"","differentiation":"","faq":[],"pageUrl":"https://www.refbase.ai/reference/text-generation-inference/P-03-001","sourceEvidence":[{"id":"text-generation-inference-ev-tair-1","entityId":"text-generation-inference","text":"Hugging Face公式ドキュメントによると、TGI v3はvLLM比で長いプロンプト（20万トークン以上）において最大13倍高速、処理トークン量は3倍。20万トークン超の応答生成はvLLMが27.5秒、TGIは2秒。prefixキャッシュなしの場合は最大30倍の高速化が確認された。","coverageType":["Differentiation"],"title":"TGI v3 overview · Hugging Face","sourceClass":"Benchmark","sourceType":"official_site","confidence":"high","supportedPromptTypes":["P-03"],"sourceVerified":false,"needsVerification":true,"sourceUrl":"https://huggingface.co/docs/text-generation-inference/en/conceptual/chunking"}],"generatedAt":"2026-08-31T07:02:05.993Z","evidenceIds":["text-generation-inference-ev-tair-1"]}]}