AIの答えを、どう確かめるか。

窓口の電話番号、手続きの期限、受付時間。利用者が知りたいのは、その場で行動に移せる情報です。文章が自然でも、別の地域の窓口を案内していれば役には立ちません。

AIを導入したあとにも、答えの正しさを確かめる手間と責任は残ります。一般的な性能の数字だけでなく、自分たちの業務の問いと資料で確かめる必要があります。

何を答えればよいのか。その答えをどこで確かめられるのか。用件、窓口、連絡先、条件を項目に分け、出典と確認日を添えます。

資料が更新されたときに、どの回答やFAQを見直すべきかも追いやすくなります。参照資料の整備は、AIのためだけでなく、運用する担当者の確認にも役立ちます。

確かめられないことを言い切らない。一方で、答えられないだけで利用者を止めない。この両方を考える必要があります。

公式の案内や担当窓口など、次に確かめる先を示す。何を答え、どこから先は確認につなぐのかを、業務ごとのルールにします。

1. 基準を先に決める

   対象となる問いと参照資料、答えに必要な項目を整理します。確かめられないときに、何を案内するかも決めます。

2. 答えを記録して照合する

   いまのAIには手を加えずに答えを記録し、出典と照らし合わせます。評価では、どの条件で作った答えかを伏せて採点する方法を用います。

3. 直す箇所を報告する

   食い違い、欠けている情報、根拠を示せない箇所を整理。参照資料と答え方のルールの改善につなげます。

4. 変更後も確かめる

   資料の更新や運用の変更に合わせて再測定し、前回と比較します。継続確認の対象と頻度は相談して決めます。

4. 旅行の緊急時のAIから生まれた手順

当社は、旅先で盗難・急病・つながらないときに次にすることを案内する「トラベルAIレスキュー」を、海外あんしんトラベルSIMとあわせて提供しています（2026年10月7日に正式に提供開始）。旅先の緊急時に、大使館や警察の番号を一つでも間違えれば、相談した人が困ります。そこで、AIが答える前と後に、次の手順を入れました。

1. 間違えては困る情報（連絡先・番号・手続き）は、AIに作らせず、先に確かめた資料から示す
2. 答えの中の番号を、確かめた資料とプログラムで照らし合わせる
3. 答える AI とは別の会社の AI が、答えを確かめる
4. 事実を足してはいけない出力（報告の下書き）は、本人の言葉を抜き出して組み立てる
5. 確かめられないことは断定せず、次に聞く窓口と内容を添える
6. 測る前に基準を決めて記録し、どの答えかを伏せて採点する。変えるたびに測る

報道で、伝える前に別の資料で事実を確かめる「裏取り」と同じ考え方です。国ごとに違う連絡先と手続きの74問（2026年9月22日）では、公的な情報と食い違った答えは0件でした（誰でも使えるチャットAI 3つは14～18件。当社は確かめた資料を見て答えるため、条件は同じではありません）。

5. 旅行の外でも測った

この手順が旅行の外でも働くかを、防災の相談で測りました。東京都江東区の24問と江戸川区の6問、合わせて30問です（2026年10月2日）。測る前に、問い・正解・判定の決まりを記録し、どの答えかを伏せて2人の採点担当が採点しました。

• 公的な情報と食い違った答えは、手順を当てる前の同じAIで16問、手順を当てた形で0問でした。江東区の24問では、答えに入っていた要点の割合が51.4％から93.8％に上がりました。
• 誰でも使えるチャットAIの1つも、食い違いは0問でした。ただし30問中20問で「確かめられない」と答え、江東区の要点の割合は35.4％でした。
• 確かめた資料の無い江戸川区の6問では、手順を当てた形は確かめられない事実を答えず、6問すべてで確かめ先の窓口と聞く内容を添えました。

同じ時期に、当社は資料の読み取りや医療の手引きなどでも同じ手順で測り、効果がはっきりしなかったものも記録しました。分かったのは、効果の中心が「正しく最新の資料を選び、確かめて、答える前に置くこと」にある、ということです。