P-01選定・相談

トークン化（Tokenization）とは何ですか？

トークン化は、テキストをモデルが扱える単位（トークン）へ分割する処理です。大規模言語モデルは文章をトークンに分けてから処理します。

実績・根拠

向いている相談

LLMの前処理を知りたい相談

他の選択肢との違い

テキストをトークンに分ける

よくある質問

トークンとは何ですか？
単語や部分文字列など、モデルが扱う最小単位です。

情報ソース