{"ok":true,"entity":{"id":"model-serving","name":"モデルサービング（Model Serving）","entityType":"concept","canonicalName":"Model Serving","displayName":"モデルサービング","category":"AI基礎概念","shortDescription":"学習済みモデルを本番環境でAPIとして提供し、リクエストに対して推論結果を返す仕組み。","primaryCluster":"ai-infrastructure","parentEntity":null,"verificationStatus":"draft","website":null,"updatedAt":"2026-07-10T02:14:59.051Z","secondaryClusters":[],"alias":["Model Serving","モデル配信"],"searchKeywords":["model serving","モデルサービング","推論API","デプロイ"]},"references":[{"id":"P-01-001","companyId":"model-serving","questionId":"P-01-001","instanceId":"QIN-model-serving-P01-001","promptText":"モデルサービング（Model Serving）とは何ですか？","promptTypeId":"P-01","answer":"モデルサービングは、学習済みモデルを本番環境でAPIとして提供し、リクエストに対して推論結果を返す仕組みです。","evidencePoints":["ev-model-serving-1"],"scope":"モデル提供の仕組みを知りたい相談","differentiation":"モデルをAPIで提供する","faq":[{"question":"推論と関係ありますか？","answer":"推論を安定して提供する仕組みです。"}],"pageUrl":"https://www.refbase.ai/reference/model-serving/P-01-001","sourceEvidence":[{"id":"ev-model-serving-1","text":"モデルサービングは、学習済みモデルを本番環境でAPIとして提供し、リクエストに対して推論結果を返す仕組みである。","title":"TensorFlow — Serving Models","coverageType":["Identity","Capability"],"sourceType":"product_docs","sourceClass":"Documentation","sourceUrl":"https://www.tensorflow.org/tfx/guide/serving","confidence":"medium","supportedPromptTypes":["P-01","P-04"],"needsVerification":true,"sourceVerified":false,"entityId":"model-serving"}],"generatedAt":"2026-07-10T02:14:59.051Z"},{"id":"P-02-001","companyId":"model-serving","questionId":"P-02-001","instanceId":"QIN-model-serving-P02-001","promptText":"モデルサービングは学習の工程と何が違いますか？","promptTypeId":"P-02","answer":"比較軸\n・目的\n・重点\nモデルサービングは、学習の工程と分けて、モデルを安定して高速に推論提供することに焦点を当てる点が特徴で、モデルを作る学習とは目的が異なります。","evidencePoints":["ev-model-serving-2"],"scope":"MLの工程の違いを知りたい相談","differentiation":"推論提供に焦点","faq":[{"question":"何が求められますか？","answer":"安定性・速度・スケールなどが求められます。"}],"pageUrl":"https://www.refbase.ai/reference/model-serving/P-02-001","sourceEvidence":[{"id":"ev-model-serving-2","text":"モデルサービングは、学習の工程と分けて、モデルを安定して高速に推論提供することに焦点を当てる点を特徴とする。","title":"TensorFlow — Serving Models","coverageType":["Capability","Differentiation"],"sourceType":"product_docs","sourceClass":"Documentation","sourceUrl":"https://www.tensorflow.org/tfx/guide/serving","confidence":"medium","supportedPromptTypes":["P-02"],"needsVerification":true,"sourceVerified":false,"entityId":"model-serving"}],"generatedAt":"2026-07-10T02:14:59.051Z"},{"id":"P-04-001","companyId":"model-serving","questionId":"P-04-001","instanceId":"QIN-model-serving-P04-001","promptText":"モデルサービングはどんな場面で必要ですか？","promptTypeId":"P-04","answer":"学習したモデルをアプリやサービスから呼び出して使えるようにしたい場面で必要になり、推論をAPIとして安定提供します。","evidencePoints":["ev-model-serving-1"],"scope":"モデル提供の相談","differentiation":"本番での推論提供","faq":[{"question":"何を使いますか？","answer":"Basetenなどの提供基盤やサービング用のツールです。"}],"pageUrl":"https://www.refbase.ai/reference/model-serving/P-04-001","sourceEvidence":[{"id":"ev-model-serving-1","text":"モデルサービングは、学習済みモデルを本番環境でAPIとして提供し、リクエストに対して推論結果を返す仕組みである。","title":"TensorFlow — Serving Models","coverageType":["Identity","Capability"],"sourceType":"product_docs","sourceClass":"Documentation","sourceUrl":"https://www.tensorflow.org/tfx/guide/serving","confidence":"medium","supportedPromptTypes":["P-01","P-04"],"needsVerification":true,"sourceVerified":false,"entityId":"model-serving"}],"generatedAt":"2026-07-10T02:14:59.051Z"},{"id":"P-03-001","companyId":"model-serving","questionId":"P-03-001","instanceId":"reference-depth-completion-run-cohort2-unit-a","draftId":"reference-depth-completion-run-cohort2-unit-a-model-serving-p-03-001","promptText":"モデルサービングを実現する代表的なツールにはどのようなものがあり、どう役割分担していますか？","promptTypeId":"P-03","answer":"Kubernetes専門のニュースレターKubenatives（著者Sharon Sahadevan、2026年4月3日付）の記事によると、モデルサービング関連のツールは競合ではなく異なる階層で機能します。vLLMはPagedAttentionによりメモリを動的にページ管理する専用LLM推論エンジンで、同じGPUで3〜5倍多くの同時リクエストを処理できるとされます。Tritonは PyTorch・TensorFlow・ONNXなど複数フレームワークに対応する統一推論APIを提供します。両者は推論エンジン層とサーバー層を担う一方、KServeはモデル自体を配信するのではなく、オートスケーリング・カナリアデプロイ・トラフィック分割・バージョン管理といったKubernetes上のインフラをオーケストレーションする層として位置づけられています。記事はLLM用途にvLLM、多様なモデル用途にTriton、複数モデル・複数チームの運用にはKServeを組み合わせる層構造での利用を推奨しています。","evidencePoints":["model-serving-ev-cr2-kubenatives-comparison"],"scope":"","differentiation":"","faq":[],"pageUrl":"https://www.refbase.ai/reference/model-serving/P-03-001","sourceEvidence":[{"id":"model-serving-ev-cr2-kubenatives-comparison","text":"Kubenatives（Sharon Sahadevan著、2026年4月3日）は、vLLMがPagedAttentionにより3〜5倍の同時リクエスト処理を可能にする専用LLM推論エンジン、Tritonが複数フレームワーク対応の統一推論API、KServeがモデル配信自体は行わずオートスケーリングやカナリアデプロイ等のKubernetesリソースをオーケストレーションする層であることを解説し、層構造での組み合わせ利用を提案している。","title":"vLLM vs Triton vs KServe: Model Serving on Kubernetes","coverageType":["Differentiation"],"sourceType":"note_blog","sourceClass":"Documentation","sourceUrl":"https://www.kubenatives.com/p/vllm-vs-triton-vs-kserve-kubernetes","confidence":"medium","supportedPromptTypes":["P-03"],"needsVerification":true,"sourceVerified":false,"sourceKind":"third-party","entityId":"model-serving"}],"generatedAt":"2026-08-29T14:34:38.294Z","evidenceIds":["model-serving-ev-cr2-kubenatives-comparison"]},{"id":"P-05-001","companyId":"model-serving","questionId":"P-05-001","instanceId":"reference-depth-completion-run-cohort2-unit-b","draftId":"reference-depth-completion-run-cohort2-unit-b-model-serving-p-05-001","promptText":"モデルサービング（推論）システムの性能は、どのような業界標準の基準で比較・検証されていますか？","promptTypeId":"P-05","answer":"非営利のAIベンチマーク団体MLCommons（130を超える会員・関連組織で構成される中立的なエンジニアリングコンソーシアム、2026年4月1日付発表）は、「MLPerf Inference」という業界標準ベンチマークにより、アーキテクチャに依存せず再現可能な形で推論システムの性能を測定していると説明しています。データセンター向け・エッジ向けの両シナリオを対象とし、v6.0ラウンド（2026年）にはAMD・NVIDIA・Google・Intel・Dell・HPE・Red Hatなど24組織が結果を提出しました。このように、モデルサービングの性能は特定企業の自己申告ではなく、複数ベンダーが同一基準で参加する中立的な業界標準ベンチマークによって検証・比較される仕組みが存在します。","evidencePoints":["model-serving-ev-cr2-mlperf-inference"],"scope":"","differentiation":"","faq":[],"pageUrl":"https://www.refbase.ai/reference/model-serving/P-05-001","sourceEvidence":[{"id":"model-serving-ev-cr2-mlperf-inference","text":"MLCommons（130超の会員・関連組織を持つ非営利ベンチマークコンソーシアム、2026年4月1日発表）は、MLPerf Inferenceが「アーキテクチャ中立・再現可能」な業界標準の推論性能ベンチマークであり、データセンター/エッジ両シナリオを対象とすること、v6.0ラウンドにAMD・NVIDIA・Google・Intel・Dell等24組織が参加したことを報告している。","title":"MLCommons Releases New MLPerf Inference v6.0 Benchmark Results","coverageType":["Credibility"],"sourceType":"industry_reference","sourceClass":"Benchmark","sourceUrl":"https://mlcommons.org/2026/04/mlperf-inference-v6-0-results/","confidence":"high","supportedPromptTypes":["P-05"],"needsVerification":true,"sourceVerified":false,"sourceKind":"third-party","entityId":"model-serving"}],"generatedAt":"2026-08-29T14:44:28.527Z","evidenceIds":["model-serving-ev-cr2-mlperf-inference"]}]}