トークンとは｜LLMが文章を読む最小単位をひとことで解説

API利用料金の単価、モデルが一度に読める上限、文章の分割サイズ——AIの実務で出てくる数字は、そのほとんどが「トークン」という単位で示されます。文字数でも単語数でもないこの単位を、OpenAI・Anthropic・Googleの公式ドキュメントから定義し、実務での意味まで整理します。

01トークンとは（基礎定義）

OpenAI公式は、トークンを「頻繁に出現する文字の並び」と説明しています（出典: OpenAI公式）。原文は「Tokens represent commonly occurring sequences of characters.」です。

Google公式のGemini APIドキュメントも、近い定義を示しています。生成AIモデルが入出力を処理する際の粒度が、トークンだという説明です（出典: Google公式）。1文字だけのトークンもあれば、単語全体が1つのトークンになる場合もあります。

長い単語や辞書にない単語は、複数のトークンに分割されます。この分割の細かさは、モデルごとに異なる「トークナイザー」という仕組みで決まります。

021トークンはどれくらいの文字数か

OpenAI公式は、英語のテキストについて目安を示しています。「1トークンはおよそ4文字、または0.75単語に相当する」というものです（出典: OpenAI公式）。

Google公式のGemini APIドキュメントも、近い目安を示しています。「1トークンはおよそ4文字に相当し、100トークンはおよそ60〜80の英単語に相当する」としています（出典: Google公式）。

ただし、この目安はいずれも英語のテキストを対象にしたものです。日本語を含む英語以外の言語について、確認できた公式資料の範囲では具体的な換算値は示されていません。

そのため日本語の文章は、目安で見積もらず実測するのが確実です。Anthropicはトークン数を送信前に数えるToken counting APIを公開しています（出典: Anthropic公式）。Google Gemini APIにも、同じ目的のcountTokensという機能があります（出典: Google公式）。使うモデルを指定して原稿を通せば、実数がわかります。

03「文字数」「単語数」との違い

トークンは、文字数とも単語数とも一致しない独自の単位です。3つの違いを表に整理します。

トークン数は、モデルが内部に持つトークナイザーという辞書の設計に依存します。トークンに分割された文章は、その後さらに数値表現へ変換されて処理されます。この変換については、別記事『エンベディングとは｜文章を数値化して検索する仕組み』で解説しています。

04実務でトークンを意識する3つの場面

トークンは、AIを実務で使う上で避けて通れない単位です。代表的な3つの場面を紹介します。

1. API利用料金: 主要各社のAPIは、トークン数を単位とする料金体系を採っています。単価は入力・出力やモデルによって異なるため、利用中のモデルの公式料金ページで確認してください。1回分の費用は「入力トークン数×入力単価＋出力トークン数×出力単価」で求め、これに想定実行回数を掛ければ月額の概算になります
2. コンテキストウィンドウの上限: AIが一度に読める情報量は、トークン数で数えられます。詳しくは別記事『コンテキストウィンドウとは｜AIが一度に読める範囲の意味』で解説します
3. 文章の分割設計: RAG（検索拡張生成）では、文章を数百トークン程度の塊に分割して扱います。詳しくは別記事『RAGの仕組みとは？AI検索で引用される文章の原理を徹底解説』で解説しています

05よくある誤解

「1トークン=1文字」という誤解。英語では1トークンがおよそ4文字に相当するというのが、OpenAI公式の目安です。文字とトークンは、1対1で対応しているわけではありません。

「トークン数は常に一定」という誤解もあります。Anthropic公式によると、新しいトークナイザーを採用したモデルがあります。そのモデルでは、同じ文章でも旧モデルよりおよそ30%多いトークン数になると説明されています（出典: Anthropic公式）。同じ文章でも、使うモデルが変わればトークン数も変わります。

06FAQ