・英語による用語:Chunking
・用語カテゴリ:技術用語
・日本語読み:チャンキング(チャンク分割)
・種別:RAG前処理
・位置づけ:長文を検索しやすい単位に分割する処理
・関連:RAG / エンベディング / ベクトルデータベース / コンテキストウィンドウ
・備考:長い文書を適切な単位(チャンク)に分割する処理。RAGの検索精度を左右する前処理。
Chunking(チャンク分割)とは?RAGの精度を決める文書分割
Chunking(チャンキング/チャンク分割)とは、長い文書を検索・処理しやすい適切な大きさの断片(チャンク)に分割する前処理を指します。RAG(検索拡張生成)で社内文書やマニュアルをAIに活用させる際、文書をそのまま扱うのではなく、あらかじめ小さな単位に切り分けてベクトル化・格納します。
チャンクの切り方は、RAGの検索精度を大きく左右します。大きすぎると1つのチャンクに複数の話題が混ざって検索の的確さが落ち、小さすぎると文脈が途切れて意味が通らなくなります。文の途中や見出しの区切りを無視して機械的に分割すると、重要な情報が分断される問題も起こります。そのため、意味のまとまりや見出し構造を意識した分割、チャンク同士を少し重ねる「オーバーラップ」などの工夫が用いられます。
実務では、対象データの性質(マニュアル・FAQ・論文など)に応じてチャンクサイズや分割方法を調整し、検索結果の質を検証しながら最適化することが、RAGの回答品質を高める鍵になります。