AIを使う企業は、遅かれ早かれ同じ場面に出会います。システムが自信のある口調で答え、その答えが誤っている場面です。
これはシステムが壊れたという意味ではありません。言語モデルは確率の上で動いており、手元の情報が足りないとき、黙る代わりにもっともらしい文を組み立てることがあります。本当の論点は答えが誤りうることではなく、誤った答えが正しい答えと同じ口調で届くことです。
この記事では、誤答がなぜ生まれるのか、どんな場面で本当に問題になるのか、そして構築の際に管理をどこへ置くのかを扱います。
🔍 覚えておいてください：AIを業務に入れることは、誤りをないものとして扱うことではなく、誤りがどこに落ちるかをあらかじめ決めることです。回答が顧客に届くのか、社員の画面に出るのか、承認欄に入るのかは構築段階での判断になります。
AIはなぜ誤った回答をするのか
原因が一つということはまれです。構築の現場でよく見られるのは次の四つです。
情報がない、または古い
モデルは与えられた資料から読み取ります。価格表が更新されていない、取り扱いをやめた品目がカタログに残っている、規則の変更が誰かの頭の中にしかない。こうした場合、答えはその古い情報の上に組み立てられます。ここで不備があるのはモデルではなく資料です。
質問があいまい
「この注文はどう扱えばよいですか」といった質問は、文脈なしに来ると複数の正しい答えを許します。モデルはそのうち一つを選び、選んだ理由を述べます。人の同僚なら聞き返すところですが、システムは前提を置いたまま進むことがあります。
空白を埋める
資料に答えがない場合、モデルは似た文章から学んだ型にならって答えを作ることがあります。この振る舞いはしばしばハルシネーションと呼ばれます。出てきた文は言語としては申し分なく、内容としては作り話です。これが自分を明かさない誤りです。
資料は正しく、文脈が違う
情報自体は正しいものの、別の場面に属しています。特定の顧客層だけの条件が、システムに区別が定義されていないために全員へ伝えられます。この種の誤りは一件ずつ見ると正しく見えるため、気づくのが遅れることがあります。
誤りの重さは同じではない
すべての誤りを同じ重さで扱うと構築が重くなり、その重さは誰にも担えません。区別は、誤りが何に触れるかに従います。
- 内部にとどまる誤り：社員が誤った回答を見て直せば業務は続きます。費用は小さく収まります。
- 顧客に届く誤り：誤った情報が外に出ます。もはや技術の問題ではなく信頼の問題です。
- お金や法に関わる誤り：価格、値引き、契約条件、個人情報。この区分では回答が直接外へ出ない方が安全です。
この区別がないまま作られたシステムは、たいてい両端のどちらかに寄ります。すべての回答が承認待ちになって動きが鈍るか、承認の関所を置かないまま最初の重い誤りを顧客の前で起こすかです。
人の承認はどこに置くか
承認はシステムのすべての段階ではなく、誤りが高くつきうる場所に置きます。実務では次の三つの置き方が役に立つことがあります。
承認の関所
決めておいた種類の回答は、送信前に担当者の画面に届きます。担当者は承認する、直す、差し戻すのいずれかを選びます。関所は選んだ流れでのみ働き、それ以外は待たずに進みます。
確信がないときは止まる
資料に対応が見つからない質問には、答えるのではなく引き継ぐようにシステムを設定できます。「担当者へお繋ぎします」という一文は、作られた答えより優れています。この振る舞いは構築時に書くものであり、ひとりでに生まれることはありません。
権限の境目
システムが単独でできることは書き残しておくべきです。案内はできる、受付は起こせる、しかし価格の変更や返品の承認はできない、というように。境目を書かなければ境目はありません。
回答を自社の資料に結びつける
誤答に対するもっとも直接的な道は、モデルの自由な知識ではなく、企業自身の文書から答えを組み立てさせることです。システムは質問を受け取り、関係する文書を探し、その文書に答えの根拠を置きます。
ここから二つの副次的な利点が生まれることがあります。一つは、回答の横に出典を添えられること。どの文書に拠ったかが見えるので確認が容易になります。もう一つは、資料が社内に残ること。データがどこにあり、どこへ向かうのかは別の主題で、あなたのデータはどこへ行くのかで扱いました。
資料に結びつけることは、資料そのものを責任にします。文書が古ければ答えも古くなります。だからこそ、どの文書を現行とみなすか、誰が更新するのかを早い段階で決めます。
誤った回答が出たときに何をするか
一件ずつ直すだけでは足りず、同じ誤りが戻らないように原因まで下りていきます。順序は次のように組めます。
- その事例を記録とともに残します。何を尋ねられ、どの資料に拠り、誰が見たのか。
- 原因を切り分けます。資料が古いのか、質問があいまいなのか、空白が埋められたのか。
- 資料が古いなら文書を更新し、その文書の担当を決めます。
- 質問があいまいだったなら、システムが聞き返すように設定します。
- 空白が埋められているなら、その主題を承認の関所か引き継ぎの経路へ移します。
この流れが書かれていないと、誤りは一件ずつ話題にされるだけで、同じものが何度も戻ってきます。案件がどこで詰まるのかは自動化プロジェクトが失敗する理由で別に扱いました。
記録がなぜ大切か
システムが自分の言ったことを覚えていなければ、誤りから学ぶこともできません。後から見たとき、記録は次の問いに答えられるべきです。質問はいつ届いたか、何を答えたか、どの文書に拠ったか、承認を通ったか、誰が承認したか。
この記録は同時に裏づけの資料でもあります。顧客が「そちらのシステムは違うことを言った」と述べたとき、話は記憶ではなく記録の上で進みます。
顧客には何を伝えるか
相手がシステムと話していると知っていることは信頼を損ないません。あとから知ることが損ないます。はっきりとした案内の一文と、人へ渡る道筋は会話の冒頭に置きます。
誤りが外に出てしまったときは、遅らせずに直し、何がうまくいかなかったのかを率直に伝えるのがよい道です。顧客側の流れをどう組み立てるかはカスタマーサービスの自動化に書きました。
構築の前に尋ねること
AIの導入を話し合うとき、次の問いを最初に置けば、後の議論の多くは不要になるかもしれません。
- システムはどの資料から回答を組み立てるのか。
- その資料は誰が更新し、どのくらいの頻度で見直すのか。
- 人を通さずに外へ出てよい回答はどれか。
- システムは確信がないときに何をするのか。
- 誤った回答に気づいたとき、誰に知らせるのか。
- 会話の記録はどこに置き、誰が見られるのか。
答えは企業ごとに異なります。業務の流れを実際に描いてみたい場合は、研修シリーズでこれらの主題を順を追って扱っています。
私たちの進め方
構築ではまず、回答をどの資料から組み立てるかを決めます。次に、どの回答が承認を通るのか、確信がないときにシステムが何をするのかを一緒に書き出します。
誤りの可能性をないものとして扱う構築は提案しません。代わりに、誤りがどこに落ちるかを決め、その記録を残し、直すための経路を構築そのものに組み込みます。
よくあるご質問
AIが誤って答えたことにどう気づけますか
読むだけで気づくのは難しく、誤った回答も正しい回答と同じ言葉づかいで書かれるためです。実務では三つが役に立ちます。回答が拠った出典を並べて示すこと、慎重を要する主題で人の承認を置くこと、会話の記録を一定の間隔で抜き取って読むことです。顧客からの「こちらでは違う内容になっています」といった反応も、別の経路として集めておくとよいでしょう。
すべての回答を人が承認する必要がありますか
多くの場合は必要なく、すべての回答を承認に通すとシステムが使えなくなることがあります。区別は回答の種類に従います。案内する回答、受付を起こす回答、担当へ振り分ける回答は、たいていの企業でそのまま外へ出せます。価格、値引き、契約条件、返品、個人情報に関わる回答は承認の関所へ送れます。この一覧は構築時に書き、時間とともに見直します。
システムは「わかりません」と言えるようになりますか
学習の問題というより設定の問題です。資料に対応が見つからないとき、答えを作る代わりに主題を人へ引き継ぐようにシステムを組めます。その引き継ぎの言い回し、渡す相手、顧客がどのくらいで返答を期待してよいかも同じ構築の中で決めます。この振る舞いは初期値ではなく、書いておく必要があります。
誤った回答による損害は誰が負うのですか
責任はシステム自体ではなく、それを運用する側に向きます。だからこそ構築の境目は契約書に書いておくのが適切です。どの回答が人の承認を通るのか、記録をどれだけ保管するのか、誤りに気づいたときどう知らせるのかをあらかじめ定めておけば、議論が後回しになりません。規制のある業種であれば、これらの条項は法務の助言とともに作成するのが適切です。
自社文書に結びついたシステムでも誤って答えることはありますか
あります。ただし誤りの種類が変わります。資料に結びついたシステムでは作り話の回答は少なくなり、代わりに違う文書を選ぶ、あるいは正しい文書をふさわしくない文脈へ持ち込むという誤りが前に出てきます。こうした誤りは、回答が拠った文書がその横にあるため見つけやすくなります。だからこそ資料を現行に保つ作業は構築の常設部分になります。
まとめ
AIが誤って答えることは故障ではなく、その働き方の帰結です。ですから構築の問いは「誤りは起こりうるか」ではなく、誤りがどこに落ちるかであるべきです。
回答を自社の資料に結びつけること、慎重を要する回答を承認の関所へ送ること、確信がないときは止まると書いておくこと、会話を記録に残すこと。この四つが整えば、誤りは消えはしませんが、見えるようになり直せるようになります。