トークン化（Tokenization）

Identity

• トークン化（Tokenization）は、テキストをモデルが扱える単位（トークン）へ分割する処理で、大規模言語モデルの入力の前処理となる。検証待ち Hugging Face — Summary of the tokenizers

Capability

• トークン化（Tokenization）は、テキストをモデルが扱える単位（トークン）へ分割する処理で、大規模言語モデルの入力の前処理となる。検証待ち Hugging Face — Summary of the tokenizers
• トークン化は、単語をそのまま扱う方法と異なり、サブワード（BPE等）に分割することで未知語や多言語を効率的に扱える点が特徴である。検証待ち Hugging Face — Summary of the tokenizers
• OpenAI公式のtiktokenは、オープンソースの比較可能なトークナイザーより3〜6倍高速なBPEトークナイザー。1トークンは平均約4バイトに相当する。GPT-4o等のモデルに対応するo200k_base・cl100k_baseエンコーディングをencoding_for_model()で取得できる。検証待ち openai/tiktoken: tiktoken is a fast BPE tokeniser for use with OpenAI's models

Credibility

• EMNLP 2023発表の査読論文によると、OpenAIのAPIを22言語で分析した結果、多くの言語話者がトークン化の非効率性により過剰な料金を請求されながら、結果の質も劣るという不公平が確認された。過剰請求される言語の話者はAPI料金が相対的に高い地域に住む傾向もある。検証待ち Do All Languages Cost the Same? Tokenization in the Era of Commercial Language Models

Use Case

公開Evidence未整備

Constraints / Current Status

• トークン化は、単語をそのまま扱う方法と異なり、サブワード（BPE等）に分割することで未知語や多言語を効率的に扱える点が特徴である。検証待ち Hugging Face — Summary of the tokenizers

Key References

• トークン化の仕組みを理解することはなぜ重要ですか？
• トークン化（Tokenization）とは何ですか？
• 実際のトークナイザーにはどのような実装がありますか？

Related

• 大規模言語モデル（LLM）— トークン化は大規模言語モデルの入力の前処理である。
• Transformer（アーキテクチャ）— Transformer系モデルはトークン化された入力を処理する。