AIトークン・文字数変換計算

トークンは、GPT、Claude、Llamaなどの大規模言語モデル（LLM）におけるテキスト処理の基本単位です。AIモデルにテキストを送信すると、まずトークンに分解されます。トークンは完全な単語、単語の一部、句読点、空白文字などの小さなチャンクです。トークン・単語・文字の関係を理解することは、APIコストの見積もり、コンテキストウィンドウの制限管理、1回のリクエストでAIが処理・生成できるテキスト量の計画に重要です。

このツールは広く使われている近似値を用いて、トークン・単語・文字間の変換を提供します。英語テキストでは1トークンが約4文字、約0.75単語に相当します。実際のトークン化はモデルや言語によって異なりますが、この比率は計画やコスト推定の実用的な目安となります。

トークン化の仕組み

最新のLLMはByte Pair Encoding（BPE）やSentencePieceなどのサブワードトークン化アルゴリズムを使用しています。テキストを単語単位で分割するのではなく、頻出するサブワード単位に分解します。「the」や「and」のような一般的な単語は通常1トークンですが、珍しい単語や長い単語は2つ以上のトークンに分割されることがあります。たとえば「tokenization」という単語は「token」と「ization」の2つのトークンに分割されることがあります。

句読点、スペース、特殊文字もトークンを消費します。ピリオド、コンマ、改行文字はそれぞれ通常1トークンです。そのため、句読点や空白の多いフォーマット済みテキストは、単語数だけで予想されるよりも多くのトークンを使用します。4文字/トークンの近似値はこのオーバーヘッドを一般的に考慮していますが、実際の比率はテキストにより異なります。

4文字近似の根拠

1トークンあたり約4文字という比率は、大規模な英語テキストコーパスの実証的観察に基づいています。たとえばOpenAIのドキュメントでは、1トークンは英語テキストの約4文字、つまり約4分の3単語に相当すると記載されています。これは1,000語のエッセイが約1,333トークン、100,000トークンのコンテキストウィンドウには約75,000語が収まることを意味します。

この近似値は一般的な英語の散文には適していますが、他のコンテンツタイプでは大きくずれることがあります。コードは変数名、記号、フォーマット文字がそれぞれトークンを消費するため、単語あたりのトークン数が多くなる傾向があります。日本語、中国語、韓国語などの非ラテン文字の言語では、主に英語で訓練されたモデルのトークナイザーでは各文字が複数のトークンを必要とする場合があるため、トークン対文字の比率が異なります。

コンテキストウィンドウとトークン制限

すべてのLLMにはコンテキストウィンドウがあり、1回のリクエストで処理できるトークンの上限です。入力（プロンプト）と出力（レスポンス）の両方を含みます。コンテキストウィンドウは時代とともに大幅に拡大し、初期のGPT-3モデルは4,096トークンでしたが、現在の各社のモデルは128,000トークン以上を提供しています。100万トークンを超えるコンテキストウィンドウを持つモデルも存在します。

トークン数を把握しておくと、コンテンツがモデルのコンテキストウィンドウに収まるかどうかを計画できます。要約や分析のためにドキュメントをAIに入力する際、20ページの文書が約6,667語（約8,889トークン）であることを知れば、モデルの制限内に収まるか、あるいは小さなセグメントに分割する必要があるかを判断できます。このツールはそうした変換を素早く簡単に行えます。

API料金とコスト推定

AI APIの料金は通常、100万トークンあたりのドル（またはそれに相当する通貨）で表示され、入力トークンと出力トークンで別々のレートが設定されています。2026年初頭現在、小型モデルでは100万トークンあたり$0.10未満から、最高性能モデルでは$15以上まで幅があります。出力トークンは一般的に入力トークンの2〜4倍のコストです。

このツールのオプション価格フィールドを使用すると、指定したトークン数のコストを推定できます。正確なコスト計画には、入力トークンと出力トークンをそれぞれの価格で別々に計算してください。たとえば10,000入力トークンを100万トークンあたり$3で処理し、2,000出力トークンを100万トークンあたり$15で生成する場合、1リクエストあたりの合計コストは$0.03 + $0.03 = $0.06となります。数千回のリクエストを重ねると、このような少額のコストも追跡する価値のある金額になります。

異なる言語でのトークン

4文字近似は英語テキスト向けに調整されたものです。他の言語では比率が大幅に異なる場合があります。日本語テキストは、主に英語で訓練されたトークナイザーでは1文字あたり2〜3トークンを使用することが多く、各漢字やかな文字がモデルの基本語彙にない場合にバイトレベルのトークンに分割されるためです。つまり1,000文字の日本語テキストは、英語比率で予測される250トークンではなく、2,000〜3,000トークンを使用する可能性があります。

新しい多言語モデルでは非英語言語のトークン化効率が向上していますが、コストやコンテキストウィンドウの計画においてはまだ大きな差が残っています。非英語テキストを主に扱う場合は、英語の近似値に頼るよりも、モデル提供者の公式トークナイザーツールを使用して正確なカウントを取得することをお勧めします。このツールは英語に対して最も正確で、他の言語については一般的な参考値を提供します。

正確な推定のためのヒント

最も正確なトークン数を得るには、使用する特定モデルのAPIが提供するトークナイザーを使用してください。OpenAIはtiktokenライブラリを提供し、AnthropicはClaudeモデル用のトークンカウントツールを公開しており、他の提供者も同様のユーティリティを備えています。これらのツールはモデルが使用するトークン化アルゴリズムを正確に適用し、近似値ではなく正確なカウントを提供します。

このツールを概算に使用する際は、結果が近似値であることにご留意ください。予算策定、容量計画、概算コスト計算には適していますが、コンテンツによっては実際のトークン数と10〜20%程度の差が生じることがあります。コード、構造化データ、非英語テキストでは偏差が大きくなる可能性があります。コンテキストウィンドウの制限に近い場合など精度が重要な場面では、モデル固有のトークナイザーで正確なカウントを取得してください。