チャンキング
チャンキング(chunking)とは、長い文書を埋め込みとインデックス化の前に小さな文章のまとまりに分割する手順です。検索システムは、文書のうちクエリに答える部分だけを見つけて返せるようになります。
別名: document chunking, chunk size, chunk overlap, semantic chunking
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
言語モデルは文書のライブラリ全体を一度に読むことはできず、200 ページの PDF の埋め込みは、個々のページについてほとんど何も表しません。チャンキングは、元の資料を埋め込み、検索し、プロンプトに貼り付けられるほど小さなまとまりに切り分けます。これは検索拡張生成のパイプラインで最初に行う設計上の選択であり、ここで選択を誤ると、その後のすべてが制約を受けます。
仕組み
最も単純な方法は固定のサイズを使うもので、N 語、N 文字、N トークンごとに区切ります。元の RAG の論文は、Wikipedia の各記事を 100 語のチャンクに分けました。ほとんどの分割ツールはチャンクの重なりを加え、各境界で数文を繰り返すことで、2 つのチャンクにまたがる内容が失われないようにします。再帰的な分割ツールは、まず自然な区切り(セクション、次に段落、次に文)を試し、それでも長すぎる場合にだけ小さな単位に切り替えます。構造を考慮したチャンキングでは、文書解析で見つかった見出しや表を使います。
セマンティックチャンキング
セマンティックチャンキングは、長さではなく意味で区切りを決めます。各文を埋め込み、隣り合う文の類似度が下がったところで新しいチャンクを始めるので、各チャンクには 1 つの話題についての文が集まります。文ごとに埋め込みの呼び出しが必要で、区切りのしきい値はコーパスごとに調整が必要です。
トレードオフ
小さなチャンクはクエリと正確に一致しますが、文脈が失われます。大きなチャンクは文脈を保ちますが、埋め込みの焦点がぼやけ、コンテキストウィンドウをより多く使います。誰にとっても最適なサイズはないので、実際の質問に対していくつかの設定を試してください。ツールの比較はチャンキング工程のガイドにあります。
関連用語
- 検索拡張生成(RAG)
- 検索拡張生成(retrieval-augmented generation、RAG)とは、システムがまず文書の集まりから質問に関連する文章を検索し、その文章を言語モデルに渡して、それに基づいて回答させるパターンです。
- 文書解析
- 文書解析(document parsing)とは、PDF、スキャン画像、スライド、スプレッドシートなどのファイルを、ソフトウェアで使える構造化されたテキストに変換することです。単なる文字の羅列ではなく、見出し、読む順序、表、画像を保ちます。
- 埋め込み
- 埋め込み(embedding)とは、テキスト、画像、その他のデータを表す数値の並び(ベクトル)です。意味の似たものほどベクトルが近くなるように作られます。
- ベクトルデータベース
- ベクトルデータベース(vector database)とは、埋め込みを元のレコードとともに保存し、クエリのベクトルに最も近い保存済みのベクトルを見つけるデータベースです。数百万の項目にわたって検索を高速に保つため、通常は近似インデックスを使います。
- コンテキストウィンドウ
- コンテキストウィンドウ(context window)とは、言語モデルが一度に考慮できるテキストの最大量で、トークン数で数えます。システムプロンプト、会話、文書、ツールの結果、モデルが書く応答が含まれます。
- リランキング
- リランキング(reranking)とは、候補文書の短いリストを受け取り、最初の検索より正確だが遅いモデルを使って、クエリとの関連度で並べ替える2段目の検索ステップです。