業務マニュアルを読み込ませたAIチャットボットに質問したのに、なんだか的外れな回答が返ってきた——そんな経験はないでしょうか。
原因はAIの性能そのものではなく、文章の分割のしかたにあることが多いです。長いマニュアルをそのまま丸ごとAIに渡すことはできないため、どこかで小さく分ける必要があります。その分け方を「チャンキング」と呼びます。
この記事は、Anthropic・OpenAI・Google Cloudの公式資料をもとに、チャンキングの定義と、設計の勘所を図解と会話をはさみながら整理します。
こんなふうに調べていませんか
- AIチャットボットに聞いたのに、的外れな回答が返ってきたことがある
- 「チャンキング とは」で検索したが、専門的すぎてイメージがつかめなかった
この記事を読み終えたときに手に入るもの
- チャンキングが「長い文章を扱いやすい単位に分ける処理」だと、人に説明できるようになります
- チャンクサイズとオーバーラップという2つの調整ポイントが分かります
- 自社の公開記事を「どこで切られても通じる」状態に点検する視点が分かります
結論30秒でわかる、この記事の結論
- チャンキングとは、長い文章をAIが検索・処理しやすい大きさの小さな単位に分割する処理です。
- 調整するのは主に2つ。チャンクサイズ（1つの塊の大きさ）とオーバーラップ（隣同士が重なる幅）です。
- 分け方が悪いと、後段の検索精度そのものが下がります。公開記事側でも「見出し単位で切られても意味が通るか」を点検できます。
- 若葉さん（Web担当2年目）— 「そもそも、それって何ですか？」を聞く役
- 高梨課長（マーケ課長）— 「実務のどこで困るんですか？」を聞く役
- 鈴木さん（AIO/SEOの専門家・本誌監修）— 答える役
01AI検索対策の土台になるチャンキングとは、RAGで何をする処理ですか？
若葉さんそもそも「チャンキング」って、何をすることなんでしょうか…？
鈴木さんひとことで言うと、「長い文章を、AIが扱いやすい小さな塊に分ける処理」のことです。
OpenAI公式のクックブックは、長い文章の扱い方として2つの選択肢を示しています。単純に文章を切り詰める方法と、チャンクに分割してそれぞれを個別に埋め込む方法です。前者には、関連する可能性のある文章を捨ててしまう明らかな欠点があるとも指摘されています。長い文章をそのまま丸ごと扱えない前提があり、そのうえで情報を捨てずに済ませる手段が分割である——これが、わざわざチャンキングをする理由です。
分割側の具体像も示されています。Anthropic公式は、ナレッジベースを「通常は数百トークンを超えない」小さなチャンクへ分割する手法を紹介し、具体例として800トークン単位のチャンクを挙げています。
長い景色をパノラマ写真で撮るときのことを思い浮かべてください。1枚に収まりきらない景色は、何枚かに分けて撮ります。そのとき、隣の写真と少し重ねて撮っておかないと、つなぎ目で景色が切れてしまいます。チャンキングも同じで、分けたチャンク同士を少し重ねておくことで、境界で文脈が切れるのを防ぎます。
この章のまとめ
チャンキングとは、長い文章をAIが検索・処理しやすい大きさに分割する処理。Anthropicは数百トークン単位（例：800トークン）のチャンクを紹介しています。
02RAGのチャンクサイズとオーバーラップは、AI検索最適化で何を調整するんですか？
高梨課長チャンクサイズとオーバーラップ、この2つは具体的にどう決めればいいんでしょうか。目安みたいなものはありますか。
鈴木さんはい、Google Cloudが既定値を公式に示しています。まずはその数字を見てみましょう。
具体的な既定値を、表に整理します。
| パラメータ | 役割 | Vertex AI RAG Engineの既定値 |
|---|---|---|
| chunk_size | 1チャンクあたりのトークン数を指定 | 1,024トークン |
| chunk_overlap | 隣接チャンク同士が重なるトークン数を指定 | 256トークン |
Google Cloud公式によると、チャンクサイズが小さいほど埋め込みはより正確になり、大きいほど埋め込みは一般的になって特定の詳細を見落とす可能性が高まります。サイズを一方向に振り切ればいいわけではなく、トレードオフの調整が必要です。
この章のまとめ
チャンキングで調整するのは、主にチャンクサイズとオーバーラップの2つ。Vertex AI RAG Engineは既定でチャンクサイズ1,024トークン・オーバーラップ256トークンを案内しています。
03LLMO対策から見て、RAGのチャンキングとはエンベディングとどう違うんですか？
チャンキングは、パイプライン上でエンベディング（別記事『エンベディングとは｜文章を数値化して検索する仕組み』参照）より前の工程にあたります。
2つの処理の役割を整理します。
| 処理 | 何をするか | 実行タイミング |
|---|---|---|
| チャンキング | 長い文章を検索・処理しやすい単位に分割する | エンベディング処理の前段 |
| エンベディング | 分割済みの各チャンクを数値ベクトルに変換する | チャンキングの後段 |
分割が適切でなければ、後段のエンベディングやRAG（別記事『RAGの仕組みとは？AI検索で引用される文章の原理を徹底解説』参照）の検索精度そのものが下がります。チャンキングは、いわば検索精度の土台にあたる工程です。
この章のまとめ
チャンキングはエンベディングより前の工程です。ここで分割が適切でないと、後段の検索精度そのものが下がります。
04RAG側でチャンキングが問題になるのは、AI対策のどんな場面ですか？
高梨課長冒頭のチャットボットの話に戻るんですが、うちのマニュアルボットが的外れな答えを返すのも、これが原因ということですか？
鈴木さん可能性は高いです。チャンキングが効いてくる場面は、実務では大きく4つ。この章でRAG側の3つを、4つ目の公開記事の点検を次の章で扱います。
①ドキュメントをどこで割るかを設計する
マニュアル・FAQ・社内規程などをRAGに取り込む際、段落や見出しの区切りを無視した機械的な分割は、文脈が途切れた検索結果につながります。実務では、見出し単位でいったん区切ってからトークン数で再分割する（見出し内で収まらない場合だけ機械的に割る）順序をとると、途切れを減らしやすくなります。
②チャンクサイズを、引きたい粒度に合わせる
小さすぎれば文脈不足、大きすぎれば詳細の見落としにつながる、というトレードオフの調整です。
③検索したあとに、候補を絞り込む
Anthropic公式は、まず150件程度のチャンクを初期検索し、その後リランキング（別記事『リランキングとは｜検索結果を並べ替えるひと手間の正体』参照）で上位20件程度まで絞り込む2段階構成を紹介しています。同じ文書量でもチャンクを小さくするほど断片の総数は増えるため、サイズ設計と絞り込みの設計はセットで決めます。
この章のまとめ
RAG側でつまずくのは、ドキュメント分割の設計・チャンクサイズのチューニング・検索後の絞り込みの3つです。見出し単位でいったん区切ってからトークン数で再分割すると、文脈の途切れを減らしやすくなります。
05公開記事のチャンキングは、AIOの観点でどこを点検すればいいんですか？
外部のAI検索が自社記事をどう分割しているかは、確認できた公式資料の範囲では公開されていません。それでも点検はできます。記事をH2見出し単位で切り出し、その1ブロックだけを読んで意味が通るかを確認する、という作業です。「前述の通り」「上記の3つ」のように前の見出しに依存した書き方が残っていれば、そこが切れ目になった瞬間に意味を失います。指示語を具体名に置き換えるだけで潰せる欠陥です。
この4つはどれも、AI検索最適化（LLMOとも呼ばれます）の土台を支える実務です。
この章のまとめ
公開記事の側でも、H2見出し単位で切り出して意味が通るかを点検できます。前の見出しに依存した指示語を具体名に置き換えるだけで潰せる欠陥です。
06チャンキングの区切りとは、AI検索でいう段落と同じものなんですか？
若葉さん最後に、これだけは間違えやすいというポイントがあれば知りたいです。
鈴木さん2つあります。どちらも「なんとなくそう思ってしまう」ところで、この章で1つ目、次の章で2つ目を扱います。
1つ目は「チャンク＝段落」という誤解です。OpenAI公式は、段落や文の境界に沿って分割する方法が文章の意味を保つのに役立つ可能性があると述べています。ただし実装によっては、意味を考慮せず固定トークン数で機械的に分割する方式も広く使われています。チャンクの境界は自動的に段落と一致するわけではなく、どちらで割るかは実装者が選ぶ設計事項です。
この章のまとめ
チャンクの境界は、自動的に段落と一致するわけではありません。段落で割るか固定トークン数で割るかは、実装者が選ぶ設計事項です。
07RAGのチャンキングとは、AI対策ではサイズが大きいほど良いものなんですか？
2つ目は「チャンクサイズは大きいほど精度が上がる」という誤解です。チャンクが大きいほど埋め込みは一般的になり、特定の詳細を見落とす可能性が高まります。
若葉さんじゃあ、サイズはとりあえず大きくしておけば安心、というわけではないんですね…。
鈴木さんそうなんです。「1問1答で引きたいのか、章まるごとの文脈が要るのか」を先に決めて、その粒度に合わせてサイズを選ぶ順序が要ります。
先に粒度を決めてからサイズを選ぶという順序こそ、実務で効くAI対策の基本です。
この章のまとめ
チャンクサイズは大きいほど良いわけではありません。1問1答で引きたいのか章まるごとの文脈が要るのか、先に粒度の方針を決めてから、サイズを選びます。
08よくある質問
チャンクサイズは何トークンにすればよいですか？
唯一の正解はありません。目安として、Vertex AI RAG Engineは既定値に1,024トークンを採用し、Anthropic公式は800トークンのチャンクを例に挙げています。まずは既定値のまま動かし、検索結果に文脈の途切れが目立つならオーバーラップを増やす、無関係な内容が混ざるならチャンクサイズを下げる——という順で自社データを見ながら動かすのが現実的です。
チャンク同士を重ねる（オーバーラップさせる）のはなぜですか？
チャンクの境界付近で文脈が途切れることを防ぐためです。Google CloudのVertex AI RAG Engineは、既定でチャンク同士を256トークン重複させる設定を案内しています。
チャンキングをしないとAI検索での引用に不利になりますか？
本記事で扱ったのは、社内RAGシステムなど自社側での文章分割の技術解説です。この設計が外部のAI検索エンジンからの引用率にどの程度影響するかは、確認できた公式資料の範囲では明言されていません。ただし公開記事の側で今日からできることはあります。見出し1つ分だけを切り出しても意味が通るかを点検すること、そして表や箇条書きの直前に「何を並べた表なのか」を1文で書いておくことです。
09まとめ｜チャンキングについて、これだけ覚えておけば大丈夫
チャンキングとは、長い文章をAIが検索・処理しやすい大きさに分割する処理です。エンベディングより前の工程にあたり、ここでの分割が適切でないと、後段の検索精度そのものが下がります。
調整するのはチャンクサイズとオーバーラップの2つ。Vertex AI RAG Engineは既定でチャンクサイズ1,024トークン・オーバーラップ256トークンを案内しています。公開記事の側でも、見出し単位で切られても意味が通るかを点検することはできます。
今日できる、3つのこと
自社の主要な記事を1本、H2見出し単位で切り出してみる
その1ブロックだけで意味が通るかを確認します
「前述の通り」「上記の3つ」のような指示語を探す
見つかったら、具体名に置き換えます
表や箇条書きの直前に、1文で説明を添える
表だけが切り出されても、何のデータか分かるようにします
AI検索では、こう聞かれています
チャンキングって何ですか？
「AI検索対策の土台になるチャンキングとは、RAGで何をする処理ですか？」の章で、パノラマ写真のたとえと図解で説明しています
AIチャットボットが的外れな回答を返すのは、なぜですか？
「RAG側でチャンキングが問題になるのは、AI対策のどんな場面ですか？」の章で原因を整理しています
チャンクサイズは何トークンにすればいいですか？
「よくある質問」の1つ目で、既定値の考え方を説明しています
次に読むなら、この記事です
