チャットボットのハルシネーション対策|誤回答と法的リスクを防ぐ運用設計

チャットボットのハルシネーション対策のタイトル図版|チャットボット ハルシネーション 対策

チャットボットが誤った内容をそれらしい言葉で返す現象は、ハルシネーションと呼ばれます。汎用チャットなら多少の誤りでも済みましょうが、カスタマーサポートや社内ヘルプデスクでは、存在しない社内規定を断定した途端に、社会的にも法的にも処理の必要な問題になります。誤答を防ぐ設計は、モデルの賢さではなく、出典・鮮度・会話・運用の4層で組み立てます。

サポート現場の誤答は4種類に分ける

「社内で誤答が起きた」という報告を受けると、原因は1つではありません。実際には次の4種類に集約されます。種類が違えば対策層も違うため、最初の分類が効きます。

  • 存在しない規定の断定:社内にない規程や制度を、断定的に説明してしまう
  • 条件の誤り:返金対象や対象期間など、部分的に間違えた条件を提示する
  • 数値のずれ:料金、期限、件数を推測で埋めてしまう
  • 文脈の混同:質問の前提が違うまま、関連のない規程を引き当ててしまう

誤答の記録は、この4類型ごとに分けて残します。分類していないと、同じ誤答が別の原因で再発します。

誤答の類型 典型例 放置した結果 主な対策層
存在しない規定の断定 実在しない社内規程を断定して説明 撤回と謝罪が必要 出典
条件の誤り 返金対象や対象期間の誤り 個別対応の不整合 出典・データ
数値のずれ 料金や期限を推測で埋める 請求のトラブル データ
文脈の混同 質問と別の規程を引き当てる 手戻りの増加 対話

4類型のうち被害が大きいのは、存在しない規定の断定と条件の誤りです。断定は根拠を問われ、条件の誤りは対象者と対象外の取り違えとして扱われます。いずれも記録が残っていなければ、対応の形が定まりません。

誤答の4類型と4層の対策の対応図|チャットボット ハルシネーション 対策

誤答は製品の不具合ではなく、運用で起きる場面もあります。チャットボットのデメリットと課題とは?導入で失敗しないための対策に、導入前に確認しておくべき点をまとめました。

第1層 出典―根拠のない文を作らせない

ハルシネーションの直接の原因は、根拠がない文を生成できることにあります。生成AIチャットボットとは?従来型との違い・メリット・導入方法で説明したとおり、通常の生成AIは文脈から自然な続きを埋めます。社内の質問では、その続きを埋める部分こそ最大のリスクになります。

対策の中心は、回答をナレッジから取得できる内容に限定することです。GBase Supportの出典厳格モードは、検索で取得した証拠以外をAIに使わせない方針を、回答処理の層で強制します。検索結果が空、あるいは不足している場合でも、モデル自身の常識や推測で穴埋めをさせません。曖昧な手掛かりを断定文に書き換えることもありません。

この方式の効果は、回答の根拠が常にナレッジ側にあることにあります。出典が残るため、誤答が出たときに、どの文書から生成されたかをたどれます。責任の所在が曖昧になりません。

回答経路が5段階に分かれている点も効きます。FAQの完全一致、意味検索、文書知識、ツール呼び出し、ウェブ検索の順に切り替え、回答が文書に基づいて作られます。推測を最初の段階で止めるのではなく、根拠のある経路へ回します。

チャット画面に出典つきの回答が表示されている様子|チャットボット ハルシネーション 対策

第2層 データ―古いナレッジが誤答の素地になる

出典が正しくても、その中身が古ければ誤答は生まれます。制度改定の反映漏れがその一例です。ナレッジベースでのサポート体制づくりでは、ナレッジの更新運用を組み立てる手順を扱っています。

具体的な運用は、改定頻度で文書を分けることです。頻繁に改定される規程と、ほとんど変わらない社内FAQでは、更新の間隔も確認頻度も違います。迷ったときは、FAQを月1回確認して棚卸しの日程を固定する方が、完璧なルールを作ろうとするより効きます。

Web Connectorを使えば、公開ページの定期取得で内容が自動で同期されます。期末にだけ差し替わるページでも、最新の内容で回答できます。取り込んだ文書は書式ごとに解析器を使い分けるため、日本語PDFの文字化けは自動修復されます。表形式のデータも検索可能な知識として扱われるので、料金表や一覧表も根拠に使えます。

古い文書を撤去するときは、参照しているFAQや会話との関係を整理したうえで行います。順序を誤ると、以前の回答が別の文書を引き当てたまま残ります。

第3層 対話―答えない判断をAIに任せない

第3層は、回答できないときにAIがどう動くかの設計です。根拠がないまま推測で文を完成させる経路が、誤答を最も早く増やします。該当なしを明示して引き継ぐ設計にすれば、答えは出ないが誤りも出ない状態に収束します。

回答の型も揃えます。質問ごとに型を固定しておくと、粒度が揃い、抜け落ちが後で点検できます。FAQチャットボットで、FAQのツリー構成と回答形式の整え方を扱っています。社内FAQの構築も組み合わせると、質問の型と回答の型を同じ粒度で揃えられます。

この層では、利用規約への同意取得と入力欄の免責表示も配置します。入力前に利用範囲を示すことで、誤答が起きたときの説明が具体的になります。質問がログやナレッジに残ることも、その同意の範囲で扱えます。

FAQ設定画面で質問の型と回答の構成を管理している様子|チャットボット ハルシネーション 対策

第4層 運用―誤答を検知して戻せるようにする

どれだけ設計しても誤答はゼロにはなりません。4層目は、誤答を検知し、原因を切り分け、回収する仕組みです。

検知には会話ログと分析画面を使います。会話数、解決率、満足度、FAQ使用率の4指標を時間単位で確認し、低下した理由を追います。回答できなかった質問はナレッジのギャップ一覧として集計されるので、補充すべき内容を推測で選ぶ必要がありません。

記録は操作ログで残します。設定変更、FAQの更新、権限変更を差分として保存しておけば、誤答が出た時間帯から遡って、何がどう変わったかを説明できます。ログは既定で90日分保持され、スーパー管理者だけが閲覧できます。

誤答が繰り返し起きる場合は、インシデントとして扱います。影響範囲の切り分け、原因の特定、再発防止の決定までを一連の手順に置くのがインシデント管理の完全ガイドの考え方です。回収が運用設計の終端です。FAQ単位、文書単位で修正の担当を決めておくと、検知から反映までの時間を短くできます。

分析画面で会話数と解決率を確認している様子|チャットボット ハルシネーション 対策

4層の対策を一覧で整理する

4層は独立に効きます。1つが崩れても他で拾える構造にしておくと、設定を1つ追加するたびに運用が破綻する事態を避けられます。

層 中心的な設計 得られる効果
出典 取得した証拠以外を回答に使わない 根拠のない断定を避けられる
データ 改定を反映し、参照元を残す 古い内容を引かない
対話 該当なしを明示し、回答の型を揃える 推測で埋めない
運用 検知・記録・回収の手順を定める 原因を追跡できる

優先順位としては出典を先に固めます。ここが崩れると、他の層で拾っても追跡できません。次にデータの鮮度、次に対話と運用です。

出典・データ・対話・運用で分ける4層の防壁図|チャットボット ハルシネーション 対策

誤答が法的リスクになる3つの場面

誤答は費用だけの問題ではありません。次の3つの場面では、対応記録そのものがリスクになります。

  1. 存在しない規定の断定:社内規程にない条件を断定した場合、根拠を問われます。出典が残っていなければ、説明のしようがありません。
  2. 返金条件の誤り:対象期間や対象者を間違えると、提示した内容が食い違い、個別対応が成立しません。記録と照合できないと、事情を説明できません。
  3. 個人情報の取り扱い:同意の取得と入力欄の免責表示がない状態では、自由記述の質問がそのままログやナレッジに残ります。保存先と保存期間を確認しておかないと、後から説明できません。

いずれも、事後に判断の根拠を説明できるかどうかで決まります。回答の根拠をナレッジ側に置き、操作をログに残す設計にしておけば、説明できない局面を減らせます。

GBase Supportなら、誤答が生まれない経路を設計できます

無料で試す

よくある質問

Q1: ハルシネーションはどのような場合に起きやすいですか。

起きやすいのは、回答の根拠になる情報がナレッジにない場合です。回答できる範囲を狭く設定し、該当なしを返す設計にしておけば、誤答ではなく「回答できません」という結果に収束します。FAQを整備していない段階では、会話ログに出た未回答の質問をそのまま整備候補にできます。

Q2: 出典厳格モードがあれば、誤答は起きなくなりますか。

起きなくなるわけではありません。ただし前提条件が2つあります。ナレッジの中身が正しく、質問の範囲に文書で答えられることが前提です。前提が崩れている場合は、出典厳格モードでも「根拠がないから答えない」が続きます。整備していないナレッジで正しい運用を成立させることはできません。

Q3: 誤答が起きたあと、最初に何をすべきですか。

最初は、影響を受けた利用者への説明と誤答の撤回です。断定した内容に従って行動した利用者がいれば、被害の有無と対応方針を先に確定させます。そのあとで、出典・鮮度・会話・運用のどこで崩れたかを切り分けます。先に原因を探すと、対応が遅れます。

Q4: 誤答は自動で検知できますか。

自動で完全に検知することはできません。ただし入口は作れます。会話ログを保存し、否定的な評価と未回答の会話が抽出できるようにしておけば、定期的な確認の工数が減ります。あわせてFAQの更新履歴を差分で追えるようにしておくと、どの変更で精度が動いたかを説明できます。

Q5: 社内のFAQだけで十分ですか。

社内のFAQだけで組むと、根拠が分散して更新が追えなくなります。FAQは質問と回答の型を定義する場所、根拠は文書側に置く形が基本です。文書側は形式を問わないため、PDFの手順書も表計算のファイルも同じ扱いで入れられます。

まとめ

ハルシネーション対策は、モデルの精度を待つことではなく、誤答が生まれない経路を設計することから始まります。出典・データ・対話・運用の4層は、それぞれ独立に効くため、1つが崩れても他で拾えます。

GBase Supportは、出典厳格モードによる証拠限定の回答、FAQのツリー管理、分析画面での解決率と知識ギャップの確認、操作ログによる変更差分の保存を標準で備えています。14日間の無料トライアルで、実際の社内ナレッジで誤答が出る状況を試せます。

誤答が生まれない経路を、設計してみませんか?

14日間無料で試す

最短1週間で導入可能・専任担当が伴走

コメントする

メールアドレスが公開されることはありません。 ※ が付いている欄は必須項目です

上部へスクロール