RAGに入れる社内データの選び方：効果が出る文書と出ない文書の見分け方

RAGは「入れるデータ」で成果が決まる

RAGは、生成AIに「社内の正しい根拠」を渡して回答精度を上げる仕組みですが、入れる文書を間違えると「それっぽいが使えない回答」が量産されます。特に情シスや業務部門が主導する場合、最初に「手元にあるファイルを全部入れれば賢くなる」と考えがちです。しかし実務では、データの質・粒度・更新頻度・権限設計が揃っていないと、期待した効果が出ません。

たとえば「就業規則」「経費精算ルール」「顧客対応FAQ」のように、日々の問い合わせを減らせる文書はRAGと相性が良い一方で、「議事録の山」「古い手順書の断片」「人によって言い方が違う運用メモ」を大量投入すると、検索結果がノイズだらけになり、AIが誤った根拠を拾いやすくなります。結果として、回答がぶれる、根拠が示せない、現場が信用しない、という失敗につながります。

この記事では、開発の専門知識がなくても判断できるように、「効果が出る社内データ」と「出ない社内データ」を見分ける基準、小さく始めて安全に拡張する手順、運用で詰まりやすいポイントを業務シーンで説明します。キーワードはRAG（Retrieval-Augmented Generation）ですが、難しい数式や実装の話はせず、導入判断に必要な実務のコツに絞ります。

そもそもRAGで何が変わる？検索との違いを業務目線で理解する

RAGは「社内文書を検索して、その結果をAIに読ませて回答させる」やり方です。ここで大事なのは、RAGは単なる全文検索ではなく、「検索＋要約・言い換え＋手順化」までを1回で行う点です。たとえば経費精算で「交通費の領収書がない場合」を調べるとき、検索なら該当ページを開いて読み込む必要がありますが、RAGなら「条件」「例外」「提出物」「承認フロー」をまとめて回答できます。

一方で、RAGは万能ではありません。AIは取り出した文書の内容に引っ張られるため、文書が古い・矛盾している・例外が抜けている場合、誤回答の原因になります。また、文書が長すぎて論点が埋もれていると、検索で引っかかってもAIが重要箇所を見落としやすくなります。つまりRAGの成否は、モデルの性能以上に「取り出される文書の質」と「取り出し方」に依存します。

業務での典型的な使いどころは、社内問い合わせの削減、手順の標準化、新人の立ち上がり短縮です。逆に、社内の意思決定（例：来期の方針）や、最新状況が頻繁に変わる情報（例：障害対応のリアルタイム状況）などは、RAGだけで解決しようとすると危険です。こうした領域は、RAGに入れるデータの選び方に加えて、参照元の更新フローや「回答を確定させない運用設計」が必要になります。

効果が出る文書の条件：社内データ選定の7つのチェックリスト

RAGに入れる社内データを選ぶときは、「良さそうに見える」よりも、以下の条件を満たすかで判断します。最初は“全部入れる”のではなく、“勝てる文書だけ入れる”のが近道です。

• 正解が1つに近い：ルール・手順・定義が明確で、答えがブレにくい（例：申請条件、手順、FAQ）
• 現場の頻出質問に直結：問い合わせログや口頭質問が多いテーマ（例：権限申請、アカウント発行、経費例外）
• 更新責任者が決まっている：「誰がいつ更新するか」が決まっている（例：規程類、運用手順）
• 一次情報に近い：二次資料（まとめ・スライド）より、正式文書・規程・手順書がある
• 例外が書かれている：「ただし」「例外」「禁止事項」が明記されている
• 文章構造が読みやすい：見出し、箇条書き、用語定義がある。PDFでも可だが構造が大事
• 公開範囲を決めやすい：全社向け、部門向け、管理者向けなど、権限設計が可能

たとえば「情報システム部のよくある質問」「PCキッティング手順」「ソフトウェア申請・承認フロー」「VPN/SSOのトラブルシュート」は、RAGの価値が出やすい定番です。これらは、回答が比較的一意で、根拠を示しやすく、運用で改善もしやすいからです。

逆に、営業提案資料のように表現が多様で、状況依存が強い文書は、RAGに入れても「良い文章の要約」にはなっても「正しい業務回答」にはなりにくい傾向があります。RAGの目的が「問い合わせ削減」なのか「資料作成支援」なのかで、選ぶ文書の種類は変わります。まずは目的を1つに絞り、そこに効く文書から始めるのが安全です。

効果が出ない文書の典型パターン：入れるとむしろ精度が落ちる社内データ

RAGは、ノイズが増えるほど「検索で引っかかるけど役に立たない断片」が混ざり、AIの回答が不安定になります。“悪い文書”は入れないのが最適化で、後から改善して投入する方が結果が良くなります。よくある「効果が出ない文書」を挙げます。

• 古い版が残っている：改定履歴が曖昧、最新版がどれか分からない規程・手順
• 個人メモ・チャットの断片：前提が省略され、読んだ人以外が理解できない
• 議事録・会話ログの山：結論がどれか不明で、途中経過や意見が混在する
• 画像だけのPDF：文字情報として取り出しにくく、検索精度が落ちる
• 一般論の資料：社内ルールではなく、ネット記事の写しのようなもの
• 矛盾が放置されている：部門ごとに手順が違うのに統一されていない
• 機密が混ざる：権限整理なしに入れると、情報漏えいリスクが跳ね上がる

特に注意したいのが「最新版問題」と「矛盾問題」です。RAGは検索結果に複数文書が並ぶと、AIがそれらを“統合して”回答しようとします。その結果、古い手順と新しい手順を混ぜた「存在しない手順」を作ってしまうことがあります。これを防ぐには、投入前に文書の版管理、改定日、適用範囲（どの部門・どの条件で有効か）を整理する必要があります。

また、社内データには個人情報や顧客情報が混ざりがちです。RAGに入れる前に「その情報は誰が見てよいか」を決め、部門別・役職別のアクセス制御とセットで設計することが、実務ではほぼ必須になります。セキュリティを後回しにしたRAG導入は、効果以前に止まる可能性が高い点を押さえておきましょう。

小さく始めて失敗しない：社内データ選定から運用までの進め方

RAGの導入は、最初から全社データを集めるより、スコープを絞って「勝ち筋」を作る方が成功します。おすすめは“問い合わせが多い1業務”を選び、文書を20〜100本程度に絞って検証するやり方です。たとえば情シスなら「アカウント/権限」「PC/ソフトウェア申請」「社内ネットワーク接続」あたりが候補になります。

進め方の例を、専門知識なしでも動かせるレベルに落とすと次の通りです。

1. 目的とKPIを決める：例）問い合わせ件数を月30%削減、一次回答率を60%にする、など
2. 質問トップ20を集める：メール、チケット、口頭メモからでOK。「現場が困っている順」に並べる
3. 根拠文書を棚卸し：規程、手順、FAQ、テンプレを集め、最新版・責任者・適用範囲を付与
4. 入れる/入れないを決める：矛盾・古い・断片は一旦除外。必要なら“修正版”を作る
5. 回答の型を決める：例）結論→条件→手順→例外→参照、の順で返す
6. テスト質問で評価：トップ20で、正確性・根拠提示・禁止事項（言ってはいけない）を確認
7. 運用を回す：月1回の文書更新、問い合わせログで追加改善、権限変更の手順を作る

ここでのコツは、「文書をAI用に完璧に整える」ことよりも、“回答に必要な根拠が一貫している状態”を作ることです。たとえばPDFの体裁がバラバラでも、内容が最新で矛盾がなく、例外が書かれていれば成果が出ます。逆に、文章がきれいでも、古い・矛盾がある・責任者不在なら成果は出ません。

運用で必ず効いてくるのが、更新フローです。規程が変わったのにRAGが古いままだと、現場は一瞬で信用しなくなります。更新責任者と更新頻度を決め、改定があったら投入データも更新する仕組みを、導入前に合意しておくと失敗しにくくなります。

実務で使える「見分け方」具体例：情シス・総務・営業支援のケース

判断基準をイメージしやすいように、部門別に「入れると効く文書」「入れても効かない文書」を具体例で示します。ポイントは“AIに答えさせたい質問”と“根拠になる文書”が1対1に近いかです。

情シス：アカウント・端末・申請系は強い

効く文書：アカウント発行手順、権限申請フロー、ソフトウェア利用規程、VPN接続手順、よくあるエラーと対処、申請テンプレ（どこに何を書くか）

効きにくい文書：障害対応の時系列ログ（途中経過が多い）、個別案件のメール履歴、ベンダー見積の比較表（前提が案件依存）

情シスのRAGは「誰が何をすればよいか」を明確に返せると価値が出ます。回答文に「申請先」「必要情報」「所要時間」「注意点」を必ず含めると、問い合わせ削減に直結します。

総務・人事：規程・例外・申請条件が勝ち筋

効く文書：就業規則の要点、休暇・休職ルール、慶弔・出張・経費精算、在宅勤務規程、育休手続きのチェックリスト

効きにくい文書：個別相談の記録（個人情報を含む）、古い通達のPDFが大量にある状態、部門ごとに運用が違うままの資料

この領域は例外が多いので、「原則」「例外」「判断に必要な条件」をセットで書いてある文書ほどRAG向きです。逆に、例外が口頭運用になっていると、RAGは誤回答しやすくなります。

営業支援：商品仕様・社内の正式回答集は効くが、提案資料は注意

効く文書：製品仕様、価格表（適用条件込み）、契約・約款の要点、過去のFAQ（正式回答）、競合比較の“社内公式版”

効きにくい文書：個人が作った提案書、案件固有の議事録、表現が盛られたスライド（根拠が曖昧）

営業でRAGを使うなら「社内としての言い方・言ってよい範囲」を固定する必要があります。提案資料を大量投入すると、AIが強い表現を拾ってしまい、コンプライアンス事故につながることがあります。まずは正式回答集から始めるのが安全です。

よくある失敗と対策：精度・セキュリティ・現場定着の3つを同時に見る

RAG導入で起きがちな失敗は、「精度だけを追って、運用と安全性が置き去り」になることです。成功するRAGは、精度・セキュリティ・定着のバランスで設計します。

• 失敗：回答がぶれる／自信満々に間違う
  対策：根拠文書を最新版に統一し、矛盾を除去。回答に「根拠の引用（どの文書か）」を必須にし、分からない時は「担当窓口へ誘導」するガードレールを用意する。
• 失敗：検索結果がノイズだらけ
  対策：議事録・メール・個人メモは一旦除外。まずはFAQ/規程/手順に絞る。長文は章立てを整理し、見出しごとに意味が通るように整える。
• 失敗：情報漏えいが怖くて使えない
  対策：部門別のアクセス制御、機密文書の隔離、個人情報のマスキング方針を決める。ログ監査（誰が何を聞いたか）もセットで。
• 失敗：現場が使わない
  対策：最初は「問い合わせが多い業務」だけに絞り、効果を見せる。回答フォーマットを統一し、手順や申請リンクまで案内して“作業が終わる”体験にする。

また、RAGに入れる社内データは「整理して終わり」ではありません。運用上は、月次または四半期で「追加すべき質問」「古くなった文書」「矛盾が出た箇所」を見直し、少しずつ育てるのが現実的です。いきなり全社最適を狙うより、部門単位で成功パターンを作り、横展開していく方が費用対効果が高くなります。

まとめ

RAGの成果は、モデルやツール選定よりも「何を入れるか」で大きく変わります。効果が出るのは、正解が一意に近く、最新版が管理され、例外まで書かれた規程・手順・FAQです。逆に、議事録や個人メモ、古い版が混在する文書をそのまま入れると、検索ノイズや誤回答を増やし、現場の信頼を失いやすくなります。

成功の近道は、問い合わせが多い1業務にスコープを絞り、質問トップ20から始めて、根拠文書を20〜100本程度に厳選して検証することです。その上で、更新責任者・更新頻度・アクセス制御を決め、運用でデータを育てると、RAGは「社内の一次回答窓口」として着実に効いてきます。