RAG(検索拡張生成)とは、生成AIが答える前に社内の資料を検索し、見つけた箇所を根拠に答えさせる仕組みです。構成はデータ・検索・生成・監査の4つで、精度は読ませる資料の整え方で決まります。
「ChatGPTに社内の規程を聞いたら、それらしい間違いが返ってきた…」
「RAGを入れればいいと言われたけど、結局なにを作る話なの?」
RAGが何なのか分からないまま、話が進んで困っていませんか?
用語から調べ始めると、自社に要るのか、何を用意すればいいのかが見えなくなります。
本記事では、社内向けのRAGチャットを作ってきた開発会社が、RAGとは何かをChatGPTだけの場合と比べて説明し、仕組みと構成を図で解説します。向く業務と法人プランで足りる業務の分け方、精度を決めるもの、始め方の全体像まで分かります。
この記事の要点
- RAG(検索拡張生成)は、AIが答える前に社内の資料を調べ、その箇所を根拠に答える仕組みです
- 構成はデータ→検索→生成→監査の4つ。精度を決めるのはAIの賢さより何を読ませるかです
- 当社の目安は、1部署で使う社内AIチャットが100万円台〜(約2か月)、全社で使う形が合計300万円〜です
RAGの悩み:こんなことありませんか?
RAGでよくある悩み
- 社内のことを間違える:規程をそれらしく作る
- 何を作るか分からない:社内で説明できない
- 試したのに使われない:結局人に聞き直す
ChatGPTに社内のことを聞くと、それらしい間違いが返ってくる
ChatGPTのような生成AIは、自社の就業規則や価格表も、学習した時点より新しいことも知りません。知らないことを聞かれても、もっともらしい文章を作って答えます。これを「ハルシネーション」と呼びます。
答えの出どころも示せないので、担当者が資料を探し直すことになります。
「RAGを入れよう」と言われても、何を作るのか説明できない
ベクトル検索や埋め込みといった言葉から入ると、決める人には「何が良くなり、誰が何をするのか」が伝わりません。先に流れを1枚の図でつかむほうが早く進みます。
試してみたのに、答えが外れて使われない
資料をまとめて入れただけのRAGは、外れた答えを返します。現場は答えを信じられず、人に聞く運用に戻ります。原因の多くはAIではなく、読ませた資料の側にあります。
「AIの社内ルール、決めるのは15項目だけ」を無料でお配りしています
RAGとは?「調べてから答えるAI」のこと
RAG(Retrieval-Augmented Generation/検索拡張生成)は、生成AIが答える前に社内の資料を検索し、見つけた箇所を根拠として読ませる仕組みです。読み方は「ラグ」です。「覚えていることだけで話すAI」を「資料を調べてから話すAI」に変える仕組み、と考えてください。

RAGの基本の3段
- 調べる:質問に合う資料を探す
- 読ませる:見つけた箇所をAIに渡す
- 答える:根拠の資料と一緒に返す
ChatGPTだけで聞く場合との違い
ChatGPTだけで聞くと、AIは学習した内容から答えを組み立てます。RAGでは、答えの材料を自社の資料から毎回取り出して渡します。
| 比べる点 | ChatGPTだけ | RAG |
|---|---|---|
| 答えの材料 | 覚えた知識 | 社内の資料 |
| 社内の規程 | 知らない | 資料から答える |
| 規程の改訂 | 反映されない | 資料の差し替え |
| 答えの根拠 | 示せない | 元の資料を示す |
AIに覚えさせるのではなく、質問のたびに探して読ませる
RAGは、AIに社内データを学習(ファインチューニング)させる方法ではありません。資料を検索できる形で入れておき、質問のたびに関係する箇所を探して読ませます。規程を改訂したら資料を差し替えるだけで、次の質問から新しい内容で答えます。
LLM・ChatGPT・MCPとの関係
LLM(大規模言語モデル)は、文章を読んで文章で返すAIの本体です。ChatGPTやClaudeは、LLMを会話の画面で使いやすくしたサービスです。RAGはLLMの代わりではなく、LLMに社内の資料を渡す仕組みです。
MCPは、AIから社内のシステムやファイル置き場を直接調べに行けるようにする「つなぎ方」の決まりです。RAGが「検索用に整えた資料から探す」のに対し、MCPは「元の置き場所へ取りに行く」形です。
RAGの仕組みと構成図:データ→検索→生成→監査の4つの流れ
RAGの構成は、データ・検索・生成・監査の4つの流れに分けるとつかめます。利用者の質問は「検索→生成→監査」を通って画面に返ります。その裏で、データの流れが資料の更新を続け、検索用の索引(インデックス)を新しく保ちます。

RAGの4つの流れ
- データ:資料を整えて検索用に入れる
- 検索:質問に合う箇所を取り出す
- 生成:根拠を添えて答えをまとめる
- 監査:見せる範囲と記録を守る
データ:社内の資料を、探しやすい形に整えて入れる
就業規則、手順書、FAQなどを、章や1問ずつの単位に分けて入れます。部署・日付・版といった目印(メタデータ)も付け、検索の絞り込みに使います。どの版を正とするか(正本)と、誰が差し替えるかもここで決めます。
検索:質問に合う箇所を、キーワードと意味の両方で探す
方式は、言葉が一致する箇所を探すキーワード検索と、言い方が違っても意味の近い箇所を拾う意味検索(ベクトル検索)の2つです。意味検索では、文章を数字の並び(埋め込み)に変え、その近さで探します。「交通費 精算 夜間」のように言葉がはっきりした質問にはキーワード検索、「この場合は例外?」のようなあいまいな質問には意味検索が向きます。両方を組み合わせる形もよく使います(RAGの検索方式の記事)。

ソフィエイトの見立て
社内ヘルプデスク向けのAIチャットを作った過去の案件では、意味検索だけで始めました。使ったのはAmazon Bedrockのナレッジベース(資料の取り込みと検索を任せる機能)で、埋め込み(数字の並び)はS3 Vectorsに置きました。
製品の不具合の名前をひらがなで聞くと答えが返らず、カタカナだと「分かりません」、英字なら正しく返りました。表記が違うだけで当たらなくなるので、確かめる質問には同じ言葉の別の書き方も入れておきます。
生成:取り出した箇所だけを根拠に、決めた型で答える
AIへの指示文(プロンプト)で、答え方の決まりを渡します。根拠のない作文をさせないことが一番の目的です。
指示文の例
「次の社内資料だけを根拠に答えてください。資料に書いていないことは『分かりません』と答え、問い合わせ先を案内してください。答えは結論・手順・根拠の資料名の順に、短く書いてください。」

監査:見せる範囲・記録・答えさせない仕組みを決める
元の資料を見てよい人にだけ、RAGでも見せます。誰が何を聞き、どの資料を根拠にどう答えたかの記録も残します。権限の分け方は権限を守ったRAGの作り方の記事で解説しています。
ソフィエイトの見立て
社内ヘルプデスク向けのAIチャットを作った過去の案件では、「この質問には答えさせない」と種類で分けることはしませんでした。資料の個人情報を伏せてAIが個人のことに触れられないようにし、憶測では答えず必ず根拠の資料を示す作りにしました。答えてよい範囲を、人の判断ではなく仕組みで守る形です。
部署ごとに資料は分けず、全社員に同じ資料を見せる前提にしました。質問と答えの記録は残し、納品後の数か月は保守を手厚くする期間として、当社とお客さんの担当者がその記録を見ながら一緒に精度を直しています。
社内で説明するときは、この4つに「どの資料を入れるか」「誰が差し替えるか」「社員はどこから聞くか」を書き足した1枚にします。技術を知らない人にも、決めることが伝わります。
「AIの社内ルール、決めるのは15項目だけ」を無料でお配りしています
RAGでできること:向く業務と、法人プランで足りる業務
RAGが向くのは、答えが社内の資料にあり、同じような質問が繰り返し来る業務です。質問が自由で、答えを使う人の判断に任せてよいなら、ChatGPTなどの法人プランで足ります。
RAGが向く業務の例
- 社内の問い合わせ:規程・申請の手順を案内
- お客様への回答:マニュアルから下書き
- 営業の確認:価格表・契約条件を探す
法人プランで足りるのは、質問が自由で使う人に任せてよいとき
メールの下書き、議事録の要約、アイデア出しは、法人プランの汎用AIで十分です。読ませたい資料が数ファイルなら、チャットに添付して聞けば済みます。社内のファイル置き場をよく調べるなら、いつものAIから直接見られるようにつなぐ方法もあります(当社の目安は50万円〜・1か月ほど。社内のデータをAIから使えるようにするメニュー)。
作る価値が出るのは、業務の流れに沿ってAIから聞き返させたいとき
汎用AIでは、質問が上手な人ほど良い答えを引き出せます。慣れていない人が短く聞くと、外れた答えが返ります。そこで、AIの側から「どの商品の件ですか?」「契約の前ですか、後ですか?」と聞き返して話を進める作りにします。

聞き返す流れは業務ごとに作り込むので、汎用のチャットではできません。社内向けに作り込む意味は、ここにあります。
ソフィエイトの見立て
AI開発の相談でも、汎用のサービスで足りると答えることがあります。線引きは「質問が自由で使う人に任せてよいか」です。業務の流れに沿って誘導したい、社内のデータを正確に参照させたい、のどちらかがあれば作り込む価値があります。過去には、既存のAIツールを先方の環境で使えるようにする導入支援から始め、そのあとでRAGを作った案件もあります。
RAGが要るかは3つの質問で決める

- 正しい答えは資料にあるか:担当者の頭の中にしかないなら、先に資料にします
- 間違えたらどれくらい困るか:請求や契約のミスにつながる業務ほど、根拠を示すRAGが向きます
- 資料を差し替え続ける人はいるか:いなければ、先に担当を決めます
3つとも「はい」なら、RAGを作る候補です。
RAGの精度を決めるのは、AIの賢さより「何を読ませるか」
RAGの答えが当たるかは、AIのモデルより、読ませる資料の整え方と探し方で決まります。検索が外れれば、どれだけ賢いAIでも見当違いの箇所をもとに答えるからです。
精度を決める3つ
- 資料の形:1件ずつ探しやすく分ける
- 資料の中身:古い答えを混ぜない
- 探す経路:検索と原本を使い分ける
表のFAQは1件ずつに分け、生の記録は整えてから入れる
スプレッドシートのFAQをそのまま取り込むより、1問ずつの資料に分けたほうが当たりやすくなります。通話の文字起こしのような生の記録は、そのまま入れると答えの質が落ちます。整えて人が確かめてから入れる流れが要ります。
過去の案件では、Excelの問い合わせ履歴を1件ずつMarkdown(記号で見出しなどを書く文書形式)の文書に分けて入れました。ExcelのままではAIが読み取りにくいからです。
過去のやり取りを全部入れると、古い答えまで信じられてしまう
形を整える作業より難しいのは中身です。過去のやり取りを全部入れると、今は参考にすべきでない回答も混ざります。使う人はAIの答えをそのまま信じやすいので、入れる前にどれを正とするかを決めます。
ソフィエイトの見立て
社内ヘルプデスク向けのAIチャットを作った過去の案件では、個人情報を伏せ、Excelをテキストに起こして要らない列を消す整形は、作業全体の1割ほどでした。
課題として残ったのは中身です。過去のやり取りを全部入れたため、今は参考にすべきでない回答も載っていました。整形より、どれを正として読ませるかの見極めが本番です。
検索だけでは足りない場面は、原本を取りに行く経路を足す
RAGの検索は、資料を細かく分けて探します。そのため表やページの配置は崩れ、1つの資料を漏れなく確かめることもできません。社内の資料を検索できるようにした過去の導入支援の案件では、普段は検索で知識を引き、漏れなく確かめたい場面では資料の原本を直接読みに行く経路も用意しました。
確かめ方:現場の質問で「正しい資料が出るか」を見る
精度は技術者でなくても確かめられます。現場でよく聞かれる質問をまとめてAIに聞き、正しい資料をもとに答えているかを見ます。
根拠が合っていて答えがいまひとつなら指示文で直せます。根拠が違うなら、資料か検索の問題です。
社内ヘルプデスク向けのAIチャットを作った過去の案件では、以前の社内の問い合わせから質問を作りました。人が答えを確かめた質問は50問、観点は12種類でした。正しい資料を引けるかに加え、資料にない質問に作り話で答えないかも見ています。
「AIの社内ルール、決めるのは15項目だけ」を無料でお配りしています
始め方の全体像:1つの部署から4つのステップで
まず1つの部署・1つの業務に絞り、精度を確かめてから広げます。最初から全社の資料を入れると、答えが外れても原因を突き止められません。

ステップ①:問い合わせが多く、資料がそろっている業務を1つ選ぶ
経費精算、情シスへの申請、社内の手続きなどが向いています。業務の持ち主と、資料を差し替える担当もここで決めます。
ステップ②:入れる資料と見せる範囲を決める
入れる資料が決まっていなくても、始められます。過去のRAGの案件では、見積もりの時点でお客さん自身も入れる資料を決めていませんでした。そこで「資料の量がここまでならインフラ費用はこのくらい」「資料の投入と調整がこの回数までなら作業はこのくらい」と前提を書いて、金額と納期を出しました。どの資料を入れるかは、作り始めてから決めました。
ステップ③:現場の質問で精度を確かめてから、限られた人に出す
現場の質問で正しい資料が出るまで、資料の分け方と指示文を直します。合格の基準は作り始める前に決めておきます。過去の案件では、全体の8割以上が合格で、かつ事実と違う答えを作ったものが0件であることを基準にしました。
ステップ④:答えられない質問の行き先と、差し替えの役を決める
AIが答えられない質問をどこへ流すかを、出す前に決めます。過去の案件では、チャットをヘルプデスクの手前に置き、答えられない質問はそのままヘルプデスクに回る流れにしました。人が答えた内容を確かめてから資料に足せば、「AIが答えられない→人が答える→資料に入る→次からAIが答える」が回ります。
資料の差し替えは、試す段階では開発会社が受け持ち、慣れてきたらお客さん側で入れられるようにする分け方があります。過去の案件でも、この分け方にしました。
Difyなどのサービスで組むか、AWSなどに自前で作るかは、使う人数と期間で決まります。比べ方はRAG構築はDifyか自前構築かの記事にまとめています。
始める前に知っておきたい注意点:試作止まりになる4つの失敗
RAGが試作で止まる原因は、技術より「範囲・合格の基準・更新の担当」があいまいなまま進むことです。次の4つは、作る前に決めておけば防げます。
よくある失敗
- 全部入れる:関係ない資料で答えがぶれる
- 合格が感覚だけ:直す所が分からない
- 根拠を出さない:現場が信じず聞き直す
- 更新が回らない:古い答えで信用を失う
入れる資料を目的に合うものだけに絞り、現場の質問で何問当たれば合格かを先に決めます。答えには根拠の資料を必ず出し、誰がいつ資料を差し替えるかを公開前に決めておいてください。
「AIの社内ルール、決めるのは15項目だけ」を無料でお配りしています
効果は?RAGを入れると何が変わる?
まず変わるのは、資料を探す時間と答え方のばらつきです。件数の削減は、使う人が増えてから測ります。
入れてから変わること
- 探す時間:答える側も資料探しが減る
- 答え方:担当ごとの差がそろう
- 見る数字:最初は使う人の数
聞く側だけでなく、答える側の社員にも効いた
社内ヘルプデスク向けの過去の案件では、問い合わせる側の社員が自分で疑問を解決するためのツールとして作りました。実際には、問い合わせを受けて答える側の社員にも役立ちました。答えを探す時間が減り、答え方もそろえやすくなったためです。
最初に追う数字は「使う人の数」
同じ案件で最初に追ったのは、問い合わせの件数ではなく利用者数でした。社員がどう使うかが分からないうちは、件数を比べても判断できないためです。まず使う人を増やし、使い方が見えてから件数や時間を測ります。
費用の目安
当社の目安は次のとおりです。全社で使う形は1部署分を含めた合計で、AIの利用料・サーバー代は実費です。
| 段階 | 当社の目安 |
|---|---|
| 1つの部署で使う | 100万円台〜(約2か月) |
| 全社で使う | 合計300万円〜 |
| 保守 | 月11万円〜 |
内訳と見積もりの見方はRAG導入の費用相場の記事で解説しています。
よくある質問:RAGの構成・費用・期間・データの置き場所
発注の前によく聞かれる4つに、本文の内容から短く答えます。
RAGの構成は?何を組み合わせて作る?
資料を整えて入れる「データ」、質問に合う箇所を探す「検索」、根拠を添えて答える「生成」、見せる範囲と記録を守る「監査」の4つで組みます。検索はキーワードと意味の近さの2つで候補を集め、根拠として良い順に並べ替えてから生成に渡します。この並べ替えを受け持つ部品をリランカーと呼びます。要るかどうかの判断はRAGのリランカーの記事で解説しています。
RAGを作る費用は?
当社の目安は、1つの部署で使う社内AIチャットが100万円台〜、権限ごとに見せる情報を分けて全社で使う形が1部署分を含めた合計で300万円〜です。AIの利用料とサーバー代は実費で、別にかかります。
使い始めるまでの期間は?
1つの部署で使う形で、約2か月です。社内ヘルプデスク向けの過去の案件も、約2か月で使い始めました。そのうち約3週間を、人が答えを確かめた50問での精度の確認に使っています。
社内の資料はどこに置かれる?外に出ない?
資料と検索用の索引は、自社で決めたクラウドの中に置けます。過去の案件では、AWSの生成AIのサービス(Amazon Bedrock)のナレッジベースを使い、埋め込みはS3 Vectorsに置きました。Amazon Bedrockでは、AIのモデルを提供する会社は、送った質問とAIの答えを見られないとAWSが公表しています(AWS「Data protection」)。ほかのサービスを使う場合も、送った文が保存されるか・学習に使われるかを、契約の前に規約で確かめます。
よくある質問の答え
- 構成:データ・検索・生成・監査の4つ
- 費用:1部署分で100万円台〜
- 期間:1部署分で約2か月
- 置き場所:自社で決めたクラウドの中
ソフィエイトに頼む場合
社内向けのAIチャットボット(RAG)や、業務への生成AIの組み込みを、何に使うかの整理から一社で行っています。できること・事例・費用の目安は生成AI・RAGの開発のサービスページで紹介しています。
「AIの社内ルール、決めるのは15項目だけ」を無料でお配りしています
まとめ:RAGは「何を読ませるか」から決めよう
RAG(検索拡張生成)は、生成AIに社内の資料を調べさせてから答えさせる仕組みです。構成はデータ→検索→生成→監査の4つで、学習し直さなくても資料の差し替えで答えが新しくなります。精度を決めるのはAIの賢さより、何を、どんな形で読ませるかです。
RAGに任せること
社内の資料を探す、根拠を添えて答える、手順を案内する、回答の下書きを作る。答えが資料にあり、同じ質問が繰り返し来る業務から任せます。
人が決めること
どの業務から始めるか、どの資料を正とするか、誰に何を見せるか、誰が資料を差し替えるか。答えられない質問の受け皿と、お客様に出す答えの最終確認も人が持ちます。
1部署分から中身と金額の決まった形で頼むなら社内AIチャット(RAG)のメニュー、何に使うかの整理から頼むならAI開発(RAG・社内データ活用)のページをご覧ください。費用の目安は3分の自動見積もりで確かめられ、自社の資料と業務でどう組めばいいかは30分の無料相談でお伝えしています。
関連記事
関連キーワード: RAG