AIのAPIを使い始めると、いきなり「トークン」という単位が出てきます。料金の説明にも、「一度に読み込めるのはここまで」という上限の説明にも、当たり前のように使われています。
けれど、文字数のことなのか、単語数のことなのか、説明を読んでもすぐには分かりません。ChatGPTに聞けばなんとなく分かった気にはなるものの、いざ人に説明しようとすると言葉に詰まる——そういう方も多いのではないでしょうか。
この記事は、「トークン」という言葉を今日はじめてちゃんと調べる方に向けて書きました。OpenAI・Anthropic・Googleの公式ドキュメントにある説明をもとに、図解と会話をはさみながら整理していきます。
こんなふうに調べていませんか
- ChatGPTやAPIの説明に出てくる「トークン」が、文字数なのか単語数なのか分からない
- 「トークン とは」で検索したものの、結局よく分からないまま記事を閉じてしまった
この記事を読み終えたときに手に入るもの
- トークンが「文字」でも「単語」でもない独自の単位だと、人に説明できるようになります
- 1トークンがだいたいどれくらいの分量か、目安と注意点が分かります
- 実務でトークンを意識する場面が、3つに整理できます
結論30秒でわかる、この記事の結論
- トークンとは、AIが文章を処理するときに区切る、文字より大きく単語より小さい処理単位です。
- 英語では「1トークンはおよそ4文字」という目安がありますが、これはあくまで英語の話。日本語の公式な換算値は、確認できた資料の範囲では見つかっていません。
- API料金・一度に読み込める文章量（コンテキストウィンドウ）・文章の分割設計。この3つの場面で、トークンの数がそのまま効いてきます。
- 若葉さん（Web担当2年目）— 「そもそも、それって何ですか？」を聞く役
- 高梨課長（マーケ課長）— 「実務のどこで効いてくるんですか？」を聞く役
- 鈴木さん（AIO/SEOの専門家・本誌監修）— 答える役
01AI検索でよく出てくるトークンとは、そもそも何のことですか？
若葉さんそもそもなんですが、「トークン」って一体何なんですか…？文字数とは違うんですよね？
鈴木さんはい、そこはほとんどの方が最初につまずくところです。ひとことで言うと、トークンは「AIが文章を読むときに区切る、ひとかたまりの単位」なんですよ。
OpenAI公式は、トークンを「頻繁に出現する文字の並び」と説明しています。Google公式のGemini APIドキュメントも近い定義を示していて、生成AIモデルが入出力を処理するときの粒度がトークンだとしています。
1文字だけで1トークンになることもあれば、単語まるごとが1トークンになることもあります。逆に、長い単語や辞書にない単語は、複数のトークンに分割されます。この分け方は「トークナイザー」という仕組みで決まり、モデルによって細かさが違います。
この章のまとめ
トークンとは、AIが文章を処理する際に区切る、文字より大きく単語より小さい単位。分け方はモデルごとの「トークナイザー」が決めています。
02AIOの土台として、AIはなぜ文章をトークンに区切っているんですか？
なぜAIはわざわざこんな面倒な区切り方をするのでしょうか。理由は、AIが最終的に文章そのものではなく、数値の並びとして処理しているからです。トークンに区切ったあと、それぞれのトークンはさらに数値表現へ変換されます。この変換の仕組みは、別記事『エンベディングとは｜文章を数値化して検索する仕組み』で扱っています。
区切り方を決めているのは、モデルごとのトークナイザーです。同じ文章でも、採用しているトークナイザーが違えばトークン数は変わります。だからAI検索最適化の実務では、原稿の分量を文字数ではなくトークン数で捉える必要が出てきます。料金も、一度に読み込める上限も、この数を単位にして決まっているからです。
この章のまとめ
AIが文章をトークンに区切るのは、文章を数値の並びとして処理するためです。区切り方はモデルごとのトークナイザーが決めるので、原稿の分量もトークン数で捉えます。
031トークンとは、AI検索最適化の見積もりでだいたい何文字ぶんなんですか？
若葉さんだいたいの目安でいいので、1トークンって何文字くらいなんですか？
鈴木さんOpenAI公式が示している目安だと、英語で1トークンはおよそ4文字、または0.75単語ぶんとされています。
Google公式のGemini APIドキュメントも近い目安を示していて、「1トークンはおよそ4文字に相当し、100トークンはおよそ60〜80の英単語に相当する」としています。
ただし、この目安はどちらも英語のテキストを対象にしたものです。日本語を含む英語以外の言語について、確認できた公式資料の範囲では具体的な換算値は示されていません。
04トークンと文字数・単語数とは、AI対策の実務で何がちがうんですか？
トークンは、文字数とも単語数とも一致しない独自の単位です。3つの違いを表に整理します。
| 単位 | 数え方 | 言語による違い |
|---|---|---|
| 文字数 | 1文字を1として数える | 言語によらず一定の基準 |
| 単語数 | スペース等で区切られた単語を数える | 分かち書きしない言語では数えにくい |
| トークン数 | トークナイザーが決めた単位で数える | モデル・言語によって同じ文章でも変わる |
この3つを混同したまま原稿の分量を見積もると、想定していたAPI料金やコンテキストウィンドウの残量と、実際の数字がずれる原因になります。文字数や単語数で「だいたいこれくらい」と当たりを付けるのではなく、トークンという単位そのもので考える癖をつけておくと、あとの見積もりが崩れにくくなります。
この章のまとめ
トークンは文字数でも単語数でもありません。英語では「およそ4文字で1トークン」という目安がありますが、日本語は目安に頼らず実測するのが安心です。
05実務でトークンを気にするのは、LLMO対策のどんな場面ですか？
高梨課長仕組みは分かりました。ただ、うちの業務でこれを意識しないといけない場面って、具体的にどこなんでしょうか。
鈴木さん大きく3つあります。API利用料金・一度に読み込める文章の量・文章を分割する設計、この3つです。
①API利用料金を、トークン数から見積もる
主要各社のAPIは、トークン数を単位とする料金体系を採っています。単価は入力・出力やモデルによって異なるため、利用中のモデルの公式料金ページで確認する必要があります。1回分の費用は「入力トークン数×入力単価＋出力トークン数×出力単価」で求め、これに想定の実行回数を掛ければ月額の概算になります。
高梨課長なるほど、想定の実行回数まで含めて概算できるんですね。それなら予算の説明もしやすそうです。
鈴木さんはい。トークン数さえ実測できれば、月額の見積もりは掛け算だけで出せますよ。
②一度に読み込める量の上限を、トークン数で把握する
AIが一度に読める情報量も、トークン数で数えられます。これは「コンテキストウィンドウ」と呼ばれる仕組みで、詳しくは別記事『コンテキストウィンドウとは｜AIが一度に読める範囲の意味』で解説しています。
③文章をどこで割るかを、トークン数で決める
RAG（検索拡張生成）という仕組みでは、文章を数百トークン程度の塊に分割して扱います。この分割の考え方は、別記事『RAGの仕組みとは？AI検索で引用される文章の原理を徹底解説』で解説しています。
料金・上限・分割設計のどれもが、AI検索最適化（LLMOとも呼ばれます）の土台になる考え方です。
この章のまとめ
トークンが効いてくる場面は、料金・上限・分割設計の3つ。どれも「数える単位が同じ」だからこそ、まとめて考えられます。
06AI検索対策で1トークン＝1文字と考えると、どこがずれるんですか？
若葉さん最後に、これだけは間違えやすいというポイントがあれば知りたいです。
鈴木さん2つあります。この章で1つ目、次の章で2つ目を見ていきましょう。どちらも、私自身が最初によく混同していたところです。
1つ目は「1トークン＝1文字」という誤解です。英語では1トークンがおよそ4文字に相当するというのが、OpenAI公式の目安でした。文字とトークンは、1対1で対応しているわけではありません。日本語の原稿なら、なおさら文字数からの逆算は当てになりません。
この章のまとめ
文字とトークンは1対1ではありません。英語でもおよそ4文字で1トークンという目安で、文字数からの単純な換算はできません。
07モデルを乗り換えたとき、AI検索の見積もりに使うトークン数は変わるんですか？
2つ目は「トークン数は常に一定」という誤解です。Anthropic公式によると、新しいトークナイザーを採用したモデルがあります。そのモデルでは、同じ文章でも旧モデルよりおよそ30%多いトークン数になると説明されています。
若葉さんえ、同じ文章なのに、モデルを変えただけでトークン数が変わることがあるんですか…？
鈴木さんあります。モデルを切り替えたときは、トークン数も測り直す——ここまでセットで覚えておいてください。
こうした勘違いを放置したまま原稿を作ると、AI対策としての料金管理や設計判断がずれてしまいます。
この章のまとめ
同じ文章でも、モデルが変わればトークン数は変わります。乗り換えのたびに原稿を計測し直す習慣が、いちばんの近道です。
08よくある質問
日本語は英語よりトークン数が多くなりますか？
公式に示されている「1トークン≒4文字」は英語基準の目安です。日本語など英語以外の言語の換算値は、確認できた公式資料の範囲では示されていません。日本語で見積もる場合は、本文で挙げた各社のトークン計測機能に実際の原稿を通して、実数を確認してください。
トークン数はAPI料金にどう関係しますか？
主要各社のAPIは、トークン数を単位とする料金体系を採っています。ただし本記事が参照した公式ドキュメントは料金表そのものではありません。単価は入力・出力やモデルによって異なるため、利用中のモデルの公式料金ページで確認してください。
同じ文章でも、AIモデルによってトークン数は変わりますか？
変わります。Anthropic公式は、新しいトークナイザーを採用したモデルの例を挙げています。同じ文章でも旧モデルよりおよそ30%多いトークン数になると説明しています。モデルを切り替える際は、トークン数を計測し直すことがすすめられています。
自分の原稿のトークン数を確かめるには、どうすればいいですか？
Anthropicはトークン数を送信前に数えるToken counting APIを公開しています。Google Gemini APIにも、同じ目的のcountTokensという機能があります。使う予定のモデルを指定して原稿を通せば、実数が分かります。
09まとめ｜トークンについて、これだけ覚えておけば大丈夫
トークンとは、AIが文章を処理する際に区切る、文字より大きく単語より小さい単位です。英語では「およそ4文字で1トークン」という目安がありますが、日本語の公式な換算値は確認できていません。実務では、料金・読み込める上限・分割設計という3つの場面で、この数がそのまま効いてきます。
今日できる、3つのこと
自分の原稿を、実際に計測してみる
AnthropicのToken counting API、GoogleのcountTokensなど、公式の計測機能に通します
使っているAPIの料金ページで、トークン単価を確認する
入力と出力で単価が異なることが多いです
コンテキストウィンドウの記事に進む
トークン数が「上限」としてどう効いてくるかを、次の記事で解説しています
AI検索では、こう聞かれています
トークンって何ですか？文字数と何が違うんですか？
「AI検索でよく出てくるトークンとは、そもそも何のことですか？」の章で、たとえと図解を使って説明しています
1トークンは何文字くらいですか？
「1トークンとは、AI検索最適化の見積もりでだいたい何文字ぶんなんですか？」の章で、公式の目安と注意点をまとめています
AIのAPI料金は、どうやって計算すればいいですか？
「実務でトークンを気にするのは、LLMO対策のどんな場面ですか？」の章の①で、計算の考え方を説明しています
次に読むなら、この記事です
