ANSWER VERIFICATION / JAPAN
Jag ウラドリ System
AIの誤回答を、
報道の「裏取り」の考え方で抑える。
いまお使いのAIを替えずに、AIが答えるときに見る資料と答え方のルールを確かめ、導入したあとも定期的に答えを測ります。
お気軽にお問い合わせください。このサービスを必要としている皆様へ
- 自治体の防災・窓口・DXをご担当の皆様
- 企業の総務・情報システム・顧客対応をご担当の皆様
- 自社とは別の立場からの測定を求めるAI開発・導入事業者様
- 日本法人・支社を持つ海外企業様、日本へ進出する企業様
このような課題に、当社はこう取り組みます。
導入したAIの答えを、誰も確かめていない。
当社の支援当社が貴社の問いと資料を基に評価基準を先に定め、回答条件を伏せて採点します。食い違いと改善箇所を報告書に整理します。
一般的な性能の数字が、自社の業務でも通用するか分からない。
当社の支援貴社の業務で実際に使う問いを整理します。答えてよい問いに加え、資料が足りず答えるべきではない問いも検査対象にします。
導入前と運用後に、何を検証すればよいか分からない。
当社の支援当社が対象・参照資料・判定基準・検証手順を設計書にまとめ、変更後も比較できる形を整えます。法令適合の認証を行うものではありません。
窓口、電話番号、受付時間、期限を取り違えてほしくない。
当社の支援当社が公的な情報や貴社の規程を確認し、用件・窓口・番号・条件・出典URL・確認日を項目ごとに整理します。
公式情報が変わっても、AIやFAQの答えが古いまま。
当社の支援当社が合意した対象の更新を点検し、変更箇所とFAQ・配布物の見直し箇所を整理します。確認の頻度と運用分担は相談して決めます。
回答の根拠を示せず、利用者へ確認先を案内できない。
当社の支援出典URLと確認日を資料の項目に付け、根拠をたどれる形に整えます。情報が足りない場合の案内先も定めます。
「分からない」と答える範囲と、役に立つ案内の線引きが難しい。
当社の支援当社が答えられる範囲と、確かめられないときの案内を回答ルールに整理します。回答を控える傾向と、有用な案内の両方を確認します。
生成AIを使っていないFAQや配布物にも、古い情報が残っていそう。
当社の支援当社が既存FAQ・配布物と現在の公式情報を照合し、古い番号・条件・根拠を示せない項目を一覧にします。AI導入を前提にしません。
旅先の緊急時のAIで作り、防災の相談で確かめた手順です。
当社は2014年から海外旅行者向けのトラベルSIMを提供し、2026年10月7日に、旅先で盗難・急病・つながらないときに次にすることを案内する「トラベルAIレスキュー」の提供を始めました。旅先の緊急時に、大使館や警察の電話番号を一つでも間違えれば、相談した人が困ります。そこで、AIが答える前と後に事実を確かめる手順を組み立てました。報道で、伝える前に別の資料で事実を確かめる「裏取り」と同じ考え方です。
Jag ウラドリ Systemは、この手順を旅行以外の分野にお届けするものです。
- 0件と14～18件：国ごとに違う連絡先と手続きの74問で、公的な情報と食い違った答えの数。トラベルAIレスキューは0件、誰でも使えるチャットAI 3つは14～18件でした（2026年9月22日）。当社の形は確かめた資料を見て答えるため、条件は同じではありません。
- 16問から0問：防災の相談30問（東京都江東区24問・江戸川区6問）で、公的な情報と食い違った答えの数。手順を当てる前の同じAIと、手順を当てた形の比べです（2026年10月2日）。測る前に問い・正解・判定の決まりを記録し、どの答えかを伏せて採点しました。
- 51.4％から93.8％：同じ防災の相談のうち江東区の24問で、答えに入っていた要点の割合。
誰でも使えるチャットAIの1つも、防災の30問で食い違いは0問でした。ただし30問中20問で「確かめられない」と答えました。当社の形は、確かめられない事実を答えないことを優先することにより、確かめた資料の無い江戸川区の6問では要点の割合が9.7％にとどまりました。代わりに6問すべてで、確かめ先の窓口と聞く内容を添えました。
- 調査白書「旅先の緊急時、AIはどこまで答えてよいか」（2026年10月7日公開）：https://panam.travelsim-japan.com/jp/research/
- トラベルAIレスキュー（事業者向けの事例）：https://panam.travelsim-japan.com/jp/business/rescue/
診断の後に、手元に残るもの。
- 対象となる問いと、確認に使う資料の一覧
- 情報の食い違い・不足・根拠を示せない回答の整理
- 資料と回答ルールの改善案、次に確認する項目
実施内容と条件は、ご相談のうえで定めます。
数字は当社の調査です。採点は記憶を持たないAIの採点担当2人が、どの答えかを伏せて行いました。比べたAIの名前は伏せています。
AIを替える前に、資料と答え方を整える。
誤回答の診断
貴社の問いと資料で、いまのAIの答えを確認。食い違いの一覧と改善案を報告書にまとめます。
参照資料と回答ルールの整備
窓口・電話番号・受付時間・条件を、出典と確認日を付けて整理。答えられない場合の案内先も定めます。
更新確認と再測定
公式情報や規程の変更を確認し、影響する項目を整理。導入後も同じ基準で答えを確かめます。
FAQ・配布物の点検
生成AIを使っていない場合も、公開FAQや配布物を現在の公式情報と照合するところから始められます。
診断から、運用後の確認まで。
基準を先に決める
対象となる問いと参照資料、答えに必要な項目を整理します。確かめられないときに、何を案内するかも決めます。
答えを記録して照合する
いまのAIには手を加えずに答えを記録し、出典と照らし合わせます。評価では、どの条件で作った答えかを伏せて採点する方法を用います。
直す箇所を報告する
食い違い、欠けている情報、根拠を示せない箇所を整理。参照資料と答え方のルールの改善につなげます。
変更後も確かめる
資料の更新や運用の変更に合わせて再測定し、前回と比較します。継続確認の対象と頻度は相談して決めます。
裏取りを、答えが出るまでの仕組みに。
重要な事実は確認した資料に基づけ、数値の照合や別系統の確認を組み合わせます。確かめられない内容は作らず、確かめ先を案内する設計です。
相談の前に。
AIの入れ替えが必要ですか。
いまお使いのAIの答えを確かめるところから始めます。参照資料や回答ルールをどこまで変更できるかは、既存システムを確認して決めます。
診断すると、何が分かりますか。
合意した問いと資料の範囲で、情報の食い違い、必要な項目の不足、出典を示せない回答を整理し、改善する箇所を明らかにします。
誤回答はなくなりますか。
目的は誤回答を抑え、運用中も確かめられる状態を作ることです。誤回答がなくなる保証ではありません。確認範囲と評価条件を明示して報告します。
費用と支援範囲は。
対象となる業務・資料・システムと必要な支援範囲を確認して、お見積もりします。
まずは、確かめたい答えから。
対象の業務、現在使っているAIやFAQ、困っている回答例をお聞かせください。診断する問いと、確認に使える資料を一緒に整理します。
お気軽にお問い合わせください。見出しアイコンはAI生成の補助イメージです。ロゴ・仕組み図は提供された原本を使用しています。