業務効率化ブログ

  • ツール紹介
  • 調査

生成AIのウソを即座に暴く追加の質問 調査業務編

生成AIのウソを即座に暴く追加の質問 調査業務編

生成AIは新機能がどんどん増えていき、2025年2月現在は無料版であっても、検索で情報収集してくれるようになりました。
今回は生成AIの話題です。

生成AIのウソを即座に暴く追加の質問

直近のことでも調べてくれる

上記は大相撲で豊昇龍関が横綱に昇進した翌日(1月30日)に質問した際の回答です。既に前日の情報が反映されています。

これだけ便利になった生成AIですが、業務で使うには不安を感じる方もいらっしゃると思います。
そう、誤情報の生成(ハルシネーション)です。AI inside社が業務における生成AIの導入に携わった方に対しておこなった調査では、59.2%の方が誤情報の生成に不安を感じていると回答したそうです。ビジネスの用途で誤情報を生成されてしまうと、顧客・社会からの信用を失ったり、思わぬ損失を被ったりする可能性があります。

確認したいのは情報源だけ

最初にお出しした「質問と回答の例」画像に、誤情報があったことはお気付きでしょうか?
下図では該当部分を赤い線で囲んでいます。

1月場所の期間中に照ノ富士関が引退したため、1月30日時点での横綱は豊昇龍関の一人です。誤情報の発生は以前よりも減っていますが、新しい情報は生成AIも誤りがちです。こうした事実を自分が知らなかった場合、どのように真偽を確かめれば良いでしょうか?

下図のような質問プロンプトを投げかけることで真偽を確かめます。
この質問プロンプトは他の回答に対しても流用できます。

長いプロンプトですが、要は回答を1文ずつ切り分けて真偽を判定させています。この質問の中で、最も大事なことは情報源を確認することです。上記の回答結果では、真偽を正しく判定してくれているのですが、判定を誤ってしまうこともあります。
そのため、情報源を開いて、ヒトの目で同じことが書かれているかどうかを確認する手間をかけることが現時点では重要です。

画像に掲載した質問プロンプトをコピーできるように、下記に記載いたします。

先ほどの回答について、下記の確認作業をお願いします。
1.表形式にて情報を整理します
2.表頭は、「回答文」「真偽」「情報源」「日付」
3.「回答文」には、あなたの回答文を1文ずつ切り分けてください
4.「真偽」には、切り分けた1文ごとの真偽を調べて、調査結果を「真」「偽」で記載してください
5.「情報源」には、真偽判定の根拠となった情報源を記載してください
6.「日付」には、情報源の発信日を記載してください

情報源の信頼性

今回の回答では、新聞社のサイトや英語版Wikipediaが情報源として出て来ました。
Wikipediaを情報源として信頼できるかどうかは目的によります。
場合により、別の情報源に同じ事実が記載されているかどうかを確認する必要があります。

情報源の信頼性について、分かりやすくまとめてある情報をご紹介します。

リサーチ結果をビジネスの成果物とする場合には、情報源を確認するというひと手間が重要になると考えております。弊社がデスクリサーチをおこなう場合には、信頼できる情報源で確認した情報を使用いたします。
情報源にあたる手間をかけられない、といった場合にぜひお気軽にご相談ください。

その他、弊社では、資料作成、SNS話題量調査、各種レポート作成やサイト/LP校正、翻訳などクライアント様のニーズに合わせて幅広く業務代行させていただいております。お気軽にご相談ください。