RAGの学習データはどう準備する？精度を左右するデータ整備の5つのポイント

「RAGを入れたのに、思ったより賢くない」と感じていませんか

「社内文書を読み込ませてRAGを構築したのに、回答が的外れだったり、平気で古い情報を答えたりする」「ベンダーに頼んで導入したものの、精度が業務で使えるレベルに届かず、現場が結局使わなくなった」「同じ質問でも聞き方を少し変えると、まったく違う精度の答えが返ってきて信用できない」「PoCでは良い感じだったのに、本番のデータ量に増やした途端に精度が崩れた」——いま、RAG導入の現場でこうした壁に直面している情シス・DX推進・開発担当の方が、本当に増えています。

RAGの精度が出ないとき、多くの人は「モデルの性能が足りないのでは」「もっと高性能なLLMに変えれば」と考えがちです。しかし、現場で精度問題の原因を切り分けていくと、その9割は、モデルではなくRAGに食わせるデータの整備状態にあります。RAGは、与えられたデータの中から質問に近い断片を取ってきて答えを組み立てる仕組みである以上、データの質が回答の質の上限を決めるからです。本記事は、RAGの精度を実際に左右するデータ整備の5つのポイントを、現場の作業として具体的に解説します。

「とりあえず文書を全部投入すれば動く」が、精度崩壊の入り口です

RAGの相談を受けるとき、最もよくある誤解が「社内文書をまとめてベクトルDBに突っ込めば、あとはAIがよしなにやってくれる」というものです。確かにそれでも「動く」ことは動きます。しかし、動くことと、業務で信頼して使える精度が出ることは、まったく別の話です。

たとえば、長大な就業規則のPDFを丸ごと1つの塊として投入すると、RAGは「有給休暇の付与日数」を聞かれても、規則全体をざっくり取ってくるだけで、肝心の条文をピンポイントで拾えません。表記が揺れていれば「テレワーク」と「在宅勤務」が別概念として扱われ、検索漏れが起きます。古い版と新しい版が両方入っていれば、どちらを答えるかはAIの気まぐれ次第になります。これらはすべて、モデルの賢さではなく、データの整え方で決まる問題です。

逆に言えば、データ整備の勘所さえ押さえれば、特別に高価なモデルを使わなくても、業務で信頼できる精度に届きます。以下では、精度を実際に左右する5つのポイントを、整える順番も意識しながら解説します。

この記事を読み終える頃に、何をどの順で整えるかが見えています

本記事では、RAGの回答精度を左右するデータ整備の5つのポイント——チャンク分割、表記とノイズの除去、メタデータ設計、版数と鮮度の管理、評価データの用意——を、社内文書をRAGに乗せる現場の作業感覚に即して具体的に解説します。読み終える頃には、自社のデータの何を・どの順で整えれば精度が上がるのか、来週から着手できる作業として組み立てられる状態を目指します。

RAGを自前で構築している開発担当、ベンダー導入したが精度に課題を感じているDX推進担当、データ整備の工数を経営層に説明する必要のあるプロジェクト責任者、それぞれの立場で持ち帰れる視点を整理しました。

RAGの精度は、モデルではなくデータ整備で決まる

RAGの精度を左右するデータ整備の5つのポイント

精度に直結する5つのポイントを、実務で整える順序を意識しながら解説します。

ポイント1：チャンク分割——「意味のまとまり」で区切る

RAGは文書をそのまま扱うのではなく、「チャンク」と呼ばれる小さな塊に分割して検索します。このチャンクの切り方が、精度に最も大きく影響します。文字数で機械的に区切ると、文の途中や、見出しと本文の間で千切れてしまい、検索しても意味の通らない断片しか取れません。

勘所は、「意味のまとまり」で区切ることです。マニュアルなら章・節・項といった見出し構造に沿って区切る、Q&A形式の文書なら1問1答を1チャンクにする、規程なら条文単位で区切る、というように、人間が読んで意味が完結する単位に揃えます。チャンクが大きすぎると関係ない情報まで混ざって回答がぼやけ、小さすぎると文脈が失われます。文書の種類ごとに最適なサイズは異なるため、ここは実際の質問で精度を見ながら調整する、最も手間をかける価値のある工程です。

ポイント2：表記とノイズの除去——揺れを統一し、不要物を削る

社内文書には、表記揺れとノイズが必ず潜んでいます。「顧客」「お客様」「クライアント」「ユーザー」が混在していると、RAGはこれらを別の概念として扱い、検索漏れの原因になります。また、ヘッダー・フッター・ページ番号・改ページ記号・目次・スキャンPDFの文字化けといったノイズは、チャンクに紛れ込んで検索精度を下げます。

対策は、業務語彙の統一辞書を作って表記を揃えること、そして文書から本文以外のノイズを除去するクレンジングです。特に画像スキャンのPDFは、OCRでテキスト抽出した際に誤認識が混入しやすいため、抽出後の精査が欠かせません。地味で根気のいる作業ですが、ここを飛ばすと、どれだけ良いモデルを使っても検索の取りこぼしは消えません。

ポイント3：メタデータ設計——文書に「検索の手がかり」を持たせる

本文だけでなく、各文書・各チャンクに「業務領域」「責任部署」「最終更新日」「機密度」「対象者」といったメタデータを付与すると、検索精度と運用の安全性が両方上がります。

たとえば「機密度」タグがあれば、役員限定の人事資料が一般社員向けの回答に紛れ込むのを防げます。「最終更新日」があれば、古い文書を回答候補から外すフィルタを設計できます。「業務領域」タグがあれば、質問の文脈に応じて検索範囲を絞り込み、ノイズを減らせます。メタデータは、RAGの検索を「全文から漠然と探す」状態から「条件で絞り込んでから探す」状態へと引き上げる、精度向上の隠れた要です。PoC段階では最小限でも、本番展開では必ず効いてきます。

ポイント4：版数と鮮度の管理——「現行版だけ」を投入する

RAGが古い情報を堂々と答える事故の大半は、同じ文書の複数の版数が混在していることが原因です。改定前の規程、旧バージョンのマニュアル、過去の料金表——これらが現行版と一緒に投入されていると、RAGはどれを答えるか区別できません。

鉄則は、「現行版だけをRAGの投入対象とする」ことです。そのために、文書の版数管理を整理し、廃止された版はインデックスから除外する運用を設計します。さらに、定期的に「更新された文書を再投入し、古くなった文書を入れ替える」鮮度維持のサイクルを回す必要があります。RAGは一度作って終わりではなく、データの鮮度を保ち続けてこそ精度を維持できる、生き物のような仕組みだと捉えるのが正解です。

ポイント5：評価データの用意——「精度を測る物差し」を先に作る

最後に、見落とされがちですが極めて重要なのが、精度を客観的に測るための評価データです。「業務で実際に飛んでくる質問」と「その模範回答」をセットで数十〜百件用意しておくと、データ整備やチューニングの効果を、感覚ではなく数値で確認できます。

評価データがないと、「チャンクの切り方を変えたが、精度が上がったのか下がったのか分からない」という状態に陥り、改善が迷走します。評価軸は、回答が事実として正確か、根拠となる出典が示されているか、業務に耐える日本語か、の3つで十分です。評価データは、データ整備の方向性が正しいかを判断する物差しであり、これを最初に用意することが、改善を空回りさせないための土台になります。

RAGデータ整備の5つのポイント

こんな方にRAGのデータ整備の見直しをおすすめします

RAGを導入したものの回答精度が業務で使えるレベルに届かず、原因の切り分けと打ち手の優先順位を整理したい情シス・開発担当の方
ベンダーにRAG構築を依頼したが、データ整備は自社側の責任範囲とされ、何をどこまで整えれば精度が上がるのか基準が掴めていないDX推進担当の方
PoCでは良かったのに本番のデータ量で精度が崩れ、立て直しの方針を立てたいプロジェクト責任者の方

RAGの精度問題は、モデルの乗り換えではなく、データ整備の5つのポイントを順に押さえることで、その大半が解消できます。ただし、チャンク設計・クレンジング・メタデータ設計・評価データ作成は、いずれも専門知識と相応の工数を要する作業です。社内に専任リソースが無く、技術選定とデータ整備を並行して進める伴走パートナーが必要であれば、アトリエ・バイナリ（atelier binary）のような、生成AIの業務活用に伴走するパートナーに、要件整理とデータ整備の両面で支援を入れるのが現実的な選択肢になります。「モデルを変えれば解決する」という幻想を捨て、データから手をつけるのが、精度問題の最短ルートです。

まとめ

データを整え、業務で信頼されるRAGへ

RAGの回答精度が出ないとき、原因の9割はモデルではなくデータ整備にあります。そして、精度を実際に左右するのは、5つのポイントです。意味のまとまりで区切るチャンク分割、表記揺れとノイズを除去するクレンジング、検索の手がかりを持たせるメタデータ設計、現行版だけを保つ版数と鮮度の管理、そして改善の物差しとなる評価データの用意——この5つを順に押さえることで、特別に高価なモデルを使わずとも、業務で信頼できる精度に届きます。

大切なのは、「モデルを変えれば解決する」という幻想を捨て、データから手をつけることです。そして、最初に評価データを用意してから整備に着手すれば、改善が数値で見えるようになり、空回りを防げます。

来週、まずは自社のRAGに業務で実際に飛んでくる質問を10個投げて、どこで精度が崩れるかを観察してみてください。チャンクの切り方なのか、表記揺れなのか、古い文書の混入なのか——崩れる箇所が分かれば、5つのポイントのどこから手をつければいいかが、自然と見えてきます。RAGの精度は、賢いモデルを待つことではなく、地道なデータ整備の先にあるのです。