EMNLP 2023(自然言語処理分野の主要国際会議)で発表された査読付き論文「Do All Languages Cost the Same? Tokenization in the Era of Commercial Language Models」(ACL Anthologyに掲載)によると、OpenAIの言語モデルAPIを22の言語的に多様な言語で分析した結果、「多くのサポート対象言語の話者は、より悪い結果を得ながら過剰な料金を請求されている」ことが明らかになりました。同論文はさらに、こうした過剰請求される言語の話者は、そもそもAPI利用料金が相対的に高くつく地域に住んでいる傾向があるとも指摘しており、二重の不利益が生じる構造を示しています。トークン化方式が英語などの高リソース言語に最適化される一方、他言語は同じ情報量でもより多くのトークンを要する場合があり、これがコストや処理速度の格差につながる、という技術的な仕組みを理解する意義を示す研究といえます。