「正しい規程を入れたのに、古いルールで答えてくる…」
「設定をいじっても、外れ方が変わらない!」
Difyで作った社内AIの誤回答で、困っていませんか?
Difyなら画面の操作だけでRAGを組めますが、ナレッジの入れ方や検索の設定がそのままだと、「それらしいけれど違う」答えが出続けます。
本記事では、開発会社の立場から、Difyで社内AIを内製しているチームに向けて、誤回答をどの層で止めるか、Difyのどの設定を見直すか、直したことをどう確かめるかを解説します。
この記事の要点
- 誤回答はナレッジ・検索・生成・質問の4つの層に分けて、ずれた層を直します
- Difyではメタデータでの絞り込み・親子モード・ハイブリッド検索とRerankで当たりを上げます
- 直したら検索テストとテスト用の質問で、答えと根拠の両方を確かめます
DifyのRAGの誤回答の悩み:こんなことありませんか?
Difyの誤回答でよくある悩み
- 旧版で答える:改定前のルールを引いてくる
- 拾えない:正しい文書があるのに外す
- 足して答える:根拠にないことまで言う
改定前の規程で答えてしまう
就業規則や経費のルールのように改定が多い文書は、旧版のPDFが同じナレッジに残っているだけで、旧版のチャンク(文書を小分けにしたかたまり)が上位に来ます。検索は正しく動いていても、答えは古い運用になります。
正しい文書が入っているのに拾えない
「VPNの申請」と「リモート接続の申請」のように、人によって呼び方が違うと検索が外れます。必要な1文が長いチャンクに埋もれている場合も、上位に入ってきません。
根拠は拾えているのに、書いていないことを足す
ログを見ると正しいチャンクを取れているのに、AIが自分の知識で補って答えを作ることがあります。社内のボットでは、これがいちばん気づかれにくい誤回答です。
3つとも、どの層でずれたかが分かれば直し方が決まります。次の章で、層の分け方を見ていきます。
Difyで誤回答が起きるのはなぜか?4つの層に分けて考える
誤回答は、ナレッジ・検索・生成・質問の4つの層のどこかで起きます。DifyはRAGの流れ(質問→ナレッジから検索→拾ったチャンクをもとに答えを作る)を画面で組めますが、どこか1段がずれると誤回答が出ます。

ナレッジ:古い版や下書きが混ざっている
参照元そのものが間違っていると、検索の設定をどれだけ直しても誤回答は減りません。旧版の規程、検討中の資料、担当者のメモが正式版と並んでいる状態がこれにあたります。
検索:正しいチャンクが上位に来ない
正しい文書はあるのに、チャンクの分け方が粗い、言い換えでキーワードが合わない、似た名前の制度を拾う、といった理由で上位に入らない状態です。
生成:拾った根拠の外をAIが補う
正しいチャンクを渡しているのに、AIが書いていないことを足したり、言い切ったりする状態です。答え方の指示(プロンプト)と出力の型で止めます。
質問:略語や前提の抜けで検索が迷う
「S申請ってどうやる?」のように略語だけで聞かれたり、部署によって同じ言葉の意味が違ったりすると、どんなRAGでも検索が迷います。
層ごとの直し方
- ナレッジ:正式版だけを入れ直す
- 検索:分け方と検索の設定を直す
- 生成:根拠だけで答えさせる
- 質問:略語の一覧で聞き方を補う
Difyは「知識検索」とLLM(文章を作るAI)を分けて組めるので、ログを見れば検索と生成のどちらでずれたかを追えます。まずはこの4つで原因を分け、打ち手を間違えないところから始めます。RAG全般のハルシネーションの原因はRAGでハルシネーションを減らす方法で解説しています。
Difyの設定でできること:誤回答を減らす4つの手
Difyでは、ナレッジの絞り込み・チャンクの分け方・検索の方式・答え方の4か所で誤回答を減らせます。設定の名前は2026年10月時点のDify公式ドキュメント(日本語)に合わせています。

Difyで見直す4つの設定
- メタデータ:部署・版で検索を絞る
- 親子モード:条件と例外を一緒に渡す
- ハイブリッド検索:意味と言葉の両方で探す
- 引用と帰属:答えに元の文書を出す
ナレッジ:正式版だけを入れ、メタデータで絞り込む
最初に「何を正とするか」を決めます。規程・公式の手順書・確定したFAQを優先して入れ、議事録や個人のメモは別のナレッジに分けるか入れません。量を増やすより、正しい情報が迷子にならない状態を先に作ります。
そのうえで、ナレッジのメタデータに目印を付けます。Difyには文書名・アップロード日・最終更新日などの組み込みの項目(初期は無効)と、自分で足す項目(文字列・数値・時間)があります。足しておくと効くのは次の項目です。
- doc_type:規程・手順書・FAQ など
- owner:人事・経理・情シスなど主管の部署
- effective_from:適用が始まる日
- status:正式版か下書きか
アプリの知識検索でメタデータフィルタリングを「手動」にすると、「status が正式版」「owner が人事」のような条件で検索の対象を絞れます。「自動」にすると、質問の文から条件を組み立てます。旧制度や別の部署の文書を拾う誤回答は、ここで止められます(Dify公式ドキュメント:メタデータ、アプリ内でのナレッジの使い方)。
チャンク:条件と例外がある文書は親子モードで分ける
Difyのチャンクの分け方は汎用モードと親子モードの2つです。親子モードは、小さな子チャンクで検索し、当たった子チャンクを含む大きな親チャンク(章や節のまとまり)をAIに渡します(Dify公式ドキュメント:チャンクの設定)。
規程や契約書のように「申請できる条件」と「例外」が離れて書かれている文書は、汎用モードで機械的に切ると、条件だけ拾って例外を落とします。親子モードなら、同じ親チャンクの中に条件と例外が残ります。
FAQのように1問1答で完結する文書は、汎用モードでQ&A1件を1チャンクにするほうが素直に当たります。当社が作った社内ヘルプデスクのAIチャットでも、文書をそのまま入れず、Q&Aの形に整えてから取り込みました。
検索:ハイブリッド検索とRerankで当たりを上げる
インデックス方式を高品質にすると、検索の方式をベクトル検索(意味の近さ)・全文検索(言葉の一致)・ハイブリッド検索(両方)から選べます。社内の文書は略語や部署の言い回しが多いので、両方で探すハイブリッド検索が向いています。
ハイブリッド検索の結果は、意味と言葉の重み付けで並べるか、Rerankモデル(Cohere・Jina AIなど外部のモデル)で並べ直します。Rerankモデルはそのぶん利用料がかかりますが、似た名前の制度を取り違えるときに効きます。拾う数(TopK)は初期値が3、どこまで似ていれば拾うか(Scoreしきい値)は0.5です(Dify公式ドキュメント:インデックス方式と検索設定、2026年10月時点)。
言い換えで外れるときは、「VPN申請=リモート接続申請」のような言い換えの一覧や、「略語→正式名称→関係する手順」をまとめた文書をナレッジに足します。地味ですが、質問の層の誤回答にも効きます。
生成:根拠だけで答えさせ、引用と帰属をオンにする
答え方の指示には「ナレッジにないことは推測しない」「分からなければ担当部署への確認を促す」「結論・根拠・注意点の型で答える」を書きます。あわせてアプリの引用と帰属をオンにすると、答えの下に元の文書が出るので、利用者が根拠を確かめられます。そのまま使える指示文のひな形と、根拠が薄いときに止める仕組みはRAGでハルシネーションを減らす方法にまとめています。
導入ステップ:Difyで誤回答を減らす進め方
ナレッジの棚卸し→チャンクの分け方→検索テスト→テスト用の質問の順に進めます。検索の設定から触り始めると、ナレッジの層の誤回答が残ったままになります。

誤回答を減らす4つのステップ
- ① 棚卸し:正式版だけを残す
- ② 分け方を選ぶ:文書の種類で決める
- ③ 検索テスト:正しいチャンクが上に来るか
- ④ 質問で試す:答えと根拠を確かめる
ステップ①:正式版を決めて、ナレッジを棚卸しする
改定が多い文書は「最新版だけを置く場所」を決め、そこだけをナレッジに入れます。旧版と下書きは外し、文書の冒頭に「目的・対象者・適用範囲」を1段落で書いておくと、チャンクの先頭に前提が残ります。
ステップ②:文書の種類で、チャンクの分け方を選ぶ
規程・マニュアルは親子モード、FAQは汎用モードでQ&A1件ずつ、と文書の種類で分けます。分けたらプレビューでチャンクの切れ目を確かめ、条件と結論が別のチャンクに割れていないかを見ます。
ステップ③:検索テストで、正しいチャンクが上位に来るか確かめる
ナレッジの検索テストに実際の質問を入れ、正しいチャンクが上位に来るかを見ます。検索テストでは設定を変えて試せるので、ハイブリッド検索の重みやRerankの有無をここで比べます(Dify公式ドキュメント:ナレッジ検索テスト)。
ステップ④:テスト用の質問で、答えと根拠を確かめる
検索が当たるようになったら、アプリに質問して答えまで確かめます。見るのは、結論が合っているか、引用が正しい文書の正しい箇所か、ナレッジにない質問で「分からない」と答えるか、の3つです。
始める前に知っておきたい注意点とコツ
Difyのナレッジは、作ったあとに変えられない設定があるので、最初の分け方を決めてから文書を入れます。
始める前のチェック
- あとで変えられない:分け方と高品質の選択
- 渡しすぎない:TopKを上げすぎない
- 止める領域:人事・経理は不明で止める
- ログは30日:無料プランは早めに見る
チャンクの分け方と高品質は、あとから変えられない
チャンクの分け方(汎用・親子)はナレッジを作ったあとに変えられません。インデックス方式も、高品質で作ったナレッジは経済的(エコノミー)に戻せず、親子モードは高品質でしか使えません。分け方を変えたいときは、ナレッジを作り直します。
拾ったチャンクを全部渡さない
TopKを大きくして候補をたくさん渡すと、関係ない文までAIが根拠として使い始めます。候補はRerankで並べ直し、AIに渡す数は必要なぶんに絞ります。
人事・経理・法務は「不明」で止める
勤怠・人事・経理のように、間違えると現場が混乱する領域は、無理に答えるより「根拠が見つからないので担当部署に確認してください」と返すほうが信頼されます。導入の最初は、こうした領域から固める方針を、経営と現場に先に伝えておきます。
無料プランの会話の記録は30日で消える
Difyの無料プラン(Sandbox)では、会話の記録は30日で消え、あとから有料にしても戻りません(Dify公式ドキュメント:ログ)。外した質問を集めるなら、試す期間中にこまめに書き出します。プランと料金はDifyで業務チャットAIを作る方法で紹介しています。
効果は?誤回答が減ったかの確かめ方
誤回答が減ったかは、テスト用の質問で「結論・根拠・参照元」の3つを見て確かめます。結論がたまたま合っていても、参照元が旧版なら次の質問で外れます。
確かめる3つの観点
- 外したか:誤回答・不明の判断が合う
- 根拠が出ているか:引用が付いている
- 参照元が正しいか:旧版・別制度でない
外すと困る質問から、テスト用の質問を集める
テスト用の質問は、机の上で作らず、実際に来た問い合わせから集めます。人事・経理・情シスの定番の質問、過去に取り違えた質問、略語で聞かれる質問、「いつから適用?」のように前提が要る質問から始め、30〜100件まで増やします。質問ごとに「期待する結論」と「根拠にしてほしい文書」を決めておくと、設定を変えたときに何が良くなり、何が悪くなったかが分かります。
外した答えは、ログで層を見分けて直す
Difyのログでは、会話ごとの答えと、利用者が付けた高評価・低評価(コメントつき)を見られます(Dify公式ドキュメント:ログ)。外した答えには、4つの層のどれかを付けて直します。
- ナレッジ:旧版が残っている → 文書を入れ替える
- 検索:正しいチャンクが上位にない → 分け方・言い換え・Rerankを直す
- 生成:根拠があるのに足す → 指示文と答えの型を直す
- 質問:略語・前提が足りない → 略語の一覧を足し、聞き返させる
「層を見分ける→決まった直し方」をひな形にしておくと、誰が見ても同じ方向に直せます。定例で見るのは、直近で外した答えの上位3つ、ナレッジの追加・削除、テスト用の質問の結果で前回より悪くなったもの、の3つで足ります。人事・法務・経理の答えは、開発チームだけで判断せず、その部署の人にも見てもらいます。
当社の例:50問・12種類の観点で確かめてから仕上げた
当社が作った社内向けのAIチャットでは、人が答えを確かめた質問50問と、作り話をしないかなど12種類の観点で精度を確かめてから使い始めました(詳しくはAI開発のページ)。確かめ方と本番に進めるかの決め方は、RAGのPoCのやり方の記事で解説しています。
Difyで精度を詰めても足りない、全社で長く使う予定がある、という場合は、AWSなどに自前で作るほうが合うこともあります。どちらが合うかの決め方はRAG構築はDifyか自前構築か|AWSで作った実例で比較で比べています。
まとめ:Difyの誤回答は「どの層でずれたか」から直そう
Difyで社内AIの誤回答を減らすコツは、設定を当てずっぽうで変えるのではなく、ずれた層を見分けて、その層に手を入れることです。
誤回答を減らす4つ
- 旧版が混ざる:ナレッジの棚卸しから
- 拾えない:分け方と検索を見直す
- 足して答える:根拠だけで答えさせる
- 質問が迷う:略語の一覧で補う
社内AIは一度「信用できない」と思われると使われなくなります。誤回答をゼロにするより先に、「根拠がなければ不明で止まる」「どの文書を見たか分かる」状態を作ると、事故が減ってレビューも回ります。
当社の目安は、PoC・1つの部署で使う社内向けAIチャットが100万円台〜(約2か月)、全社で使う本番が300万円〜、保守が月11万円〜(いずれも税抜、AIの利用料・サーバー代は実費)です。ソフィエイトに頼む場合の作れるもの・料金・進め方はAI開発(RAG・社内データ活用)のページにあります。費用の目安は3分の自動見積もりで確かめられ、今のDifyのどこから直すかは30分の無料相談(お問い合わせからも受け付けています)でお伝えしています。