{"ok":true,"entity":{"id":"tokenization","name":"トークン化（Tokenization）","entityType":"concept","canonicalName":"Tokenization","displayName":"トークン化（Tokenization）","category":"AI基礎概念","shortDescription":"テキストをモデルが扱える単位（トークン）へ分割する処理。大規模言語モデルの入力の前処理となる。","primaryCluster":"ai-company","parentEntity":null,"verificationStatus":"draft","website":null,"updatedAt":"2026-07-10T01:03:56.918Z","secondaryClusters":[],"alias":["トークナイズ","Tokenization"],"searchKeywords":["tokenization","トークン化","トークン","BPE"]},"references":[{"id":"P-01-001","companyId":"tokenization","questionId":"P-01-001","instanceId":"QIN-tokenization-P01-001","promptText":"トークン化（Tokenization）とは何ですか？","promptTypeId":"P-01","answer":"トークン化は、テキストをモデルが扱える単位（トークン）へ分割する処理です。大規模言語モデルは文章をトークンに分けてから処理します。","evidencePoints":["ev-tokenization-1"],"scope":"LLMの前処理を知りたい相談","differentiation":"テキストをトークンに分ける","faq":[{"question":"トークンとは何ですか？","answer":"単語や部分文字列など、モデルが扱う最小単位です。"}],"pageUrl":"https://www.refbase.ai/reference/tokenization/P-01-001","sourceEvidence":[{"id":"ev-tokenization-1","text":"トークン化（Tokenization）は、テキストをモデルが扱える単位（トークン）へ分割する処理で、大規模言語モデルの入力の前処理となる。","title":"Hugging Face — Summary of the tokenizers","coverageType":["Identity","Capability"],"sourceType":"product_docs","sourceClass":"Documentation","sourceUrl":"https://huggingface.co/docs/transformers/tokenizer_summary","confidence":"high","supportedPromptTypes":["P-01","P-04"],"needsVerification":true,"sourceVerified":false,"entityId":"tokenization"}],"generatedAt":"2026-07-10T01:03:56.918Z"},{"id":"P-02-001","companyId":"tokenization","questionId":"P-02-001","instanceId":"QIN-tokenization-P02-001","promptText":"サブワードのトークン化は単語単位と何が違いますか？","promptTypeId":"P-02","answer":"比較軸\n・未知語\n・多言語\nサブワード（BPE等）のトークン化は、単語をそのまま扱う方法と異なり、未知語や多言語を分割して効率的に扱える点が異なります。","evidencePoints":["ev-tokenization-2"],"scope":"トークン化方式の違いを知りたい相談","differentiation":"サブワードによる柔軟性","faq":[{"question":"なぜ重要ですか？","answer":"入力の扱いやすさやコスト（トークン数）に影響します。"}],"pageUrl":"https://www.refbase.ai/reference/tokenization/P-02-001","sourceEvidence":[{"id":"ev-tokenization-2","text":"トークン化は、単語をそのまま扱う方法と異なり、サブワード（BPE等）に分割することで未知語や多言語を効率的に扱える点が特徴である。","title":"Hugging Face — Summary of the tokenizers","coverageType":["Capability","Differentiation"],"sourceType":"product_docs","sourceClass":"Documentation","sourceUrl":"https://huggingface.co/docs/transformers/tokenizer_summary","confidence":"high","supportedPromptTypes":["P-02"],"needsVerification":true,"sourceVerified":false,"entityId":"tokenization"}],"generatedAt":"2026-07-10T01:03:56.918Z"},{"id":"P-04-001","companyId":"tokenization","questionId":"P-04-001","instanceId":"QIN-tokenization-P04-001","promptText":"トークン化はどんな場面で関係しますか？","promptTypeId":"P-04","answer":"LLMの入力・料金計算・コンテキスト長の管理など、モデルにテキストを渡すあらゆる場面で関係します。トークン数が処理量やコストの目安になります。","evidencePoints":["ev-tokenization-1"],"scope":"LLM利用の相談","differentiation":"入力・コストの基準","faq":[{"question":"料金と関係ありますか？","answer":"多くのLLM APIはトークン数で料金が決まります。"}],"pageUrl":"https://www.refbase.ai/reference/tokenization/P-04-001","sourceEvidence":[{"id":"ev-tokenization-1","text":"トークン化（Tokenization）は、テキストをモデルが扱える単位（トークン）へ分割する処理で、大規模言語モデルの入力の前処理となる。","title":"Hugging Face — Summary of the tokenizers","coverageType":["Identity","Capability"],"sourceType":"product_docs","sourceClass":"Documentation","sourceUrl":"https://huggingface.co/docs/transformers/tokenizer_summary","confidence":"high","supportedPromptTypes":["P-01","P-04"],"needsVerification":true,"sourceVerified":false,"entityId":"tokenization"}],"generatedAt":"2026-07-10T01:03:56.918Z"},{"id":"P-06-001","companyId":"tokenization","questionId":"P-06-001","instanceId":"reference-depth-completion-run-cohort3-unit-a","draftId":"reference-depth-completion-run-cohort3-unit-a-tokenization-p-06-001","promptText":"トークン化の仕組みを理解することはなぜ重要ですか？","promptTypeId":"P-06","answer":"EMNLP 2023（自然言語処理分野の主要国際会議）で発表された査読付き論文「Do All Languages Cost the Same? Tokenization in the Era of Commercial Language Models」（ACL Anthologyに掲載）によると、OpenAIの言語モデルAPIを22の言語的に多様な言語で分析した結果、「多くのサポート対象言語の話者は、より悪い結果を得ながら過剰な料金を請求されている」ことが明らかになりました。同論文はさらに、こうした過剰請求される言語の話者は、そもそもAPI利用料金が相対的に高くつく地域に住んでいる傾向があるとも指摘しており、二重の不利益が生じる構造を示しています。トークン化方式が英語などの高リソース言語に最適化される一方、他言語は同じ情報量でもより多くのトークンを要する場合があり、これがコストや処理速度の格差につながる、という技術的な仕組みを理解する意義を示す研究といえます。","evidencePoints":["tokenization-ev-cr3-language-fairness"],"scope":"","differentiation":"","faq":[],"pageUrl":"https://www.refbase.ai/reference/tokenization/P-06-001","sourceEvidence":[{"id":"tokenization-ev-cr3-language-fairness","text":"EMNLP 2023発表の査読論文によると、OpenAIのAPIを22言語で分析した結果、多くの言語話者がトークン化の非効率性により過剰な料金を請求されながら、結果の質も劣るという不公平が確認された。過剰請求される言語の話者はAPI料金が相対的に高い地域に住む傾向もある。","title":"Do All Languages Cost the Same? Tokenization in the Era of Commercial Language Models","coverageType":["Credibility"],"sourceType":"research_paper","sourceClass":"Research","sourceUrl":"https://aclanthology.org/2023.emnlp-main.614/","confidence":"high","supportedPromptTypes":["P-06"],"needsVerification":true,"sourceVerified":false,"sourceKind":"third-party","entityId":"tokenization"}],"generatedAt":"2026-08-29T15:38:46.199Z","evidenceIds":["tokenization-ev-cr3-language-fairness"]},{"id":"P-01-002","companyId":"tokenization","questionId":"P-01-002","instanceId":"reference-depth-completion-run-cohort3-unit-b","draftId":"reference-depth-completion-run-cohort3-unit-b-tokenization-p-01-002","promptText":"実際のトークナイザーにはどのような実装がありますか？","promptTypeId":"P-01","answer":"OpenAIの公式GitHubリポジトリ（github.com/openai/tiktoken）によると、tiktokenはOpenAIのモデル向けに提供される高速なBPE（バイトペアエンコーディング）トークナイザーです。公式READMEでは「オープンソースの比較可能なトークナイザーより3〜6倍高速」（GPT-2トークナイザーを使い1GBのテキストでベンチマークした結果）とされており、実際の運用では「1トークンはおよそ4バイトに相当する」と説明されています。GPT-4oなどのモデルに対応する`o200k_base`や`cl100k_base`といったエンコーディングを`encoding_for_model()`関数で取得できる仕組みで、モデルごとに適切なトークナイザーを機械的に選択できるようになっています。","evidencePoints":["tokenization-ev-cr3-tiktoken"],"scope":"","differentiation":"","faq":[],"pageUrl":"https://www.refbase.ai/reference/tokenization/P-01-002","sourceEvidence":[{"id":"tokenization-ev-cr3-tiktoken","text":"OpenAI公式のtiktokenは、オープンソースの比較可能なトークナイザーより3〜6倍高速なBPEトークナイザー。1トークンは平均約4バイトに相当する。GPT-4o等のモデルに対応するo200k_base・cl100k_baseエンコーディングをencoding_for_model()で取得できる。","title":"openai/tiktoken: tiktoken is a fast BPE tokeniser for use with OpenAI's models","coverageType":["Capability"],"sourceType":"github","sourceClass":"Documentation","sourceUrl":"https://github.com/openai/tiktoken","confidence":"high","supportedPromptTypes":["P-01"],"needsVerification":true,"sourceVerified":false,"sourceKind":"official","entityId":"tokenization"}],"generatedAt":"2026-08-29T15:44:42.311Z","evidenceIds":["tokenization-ev-cr3-tiktoken"]}]}