生成AIのハルシネーションの原因
生成AIのハルシネーションの原因は3つあります。
(1)学習した人間の回答が間違っていた
(2)論理的ではない質問の近似
(3)人間が嘘の回答を望んだ結果
原因は、単純な(1)だけではありません。
学習データに誤りがなくても、起こります。
生成AIのハルシネーションの例を考えます。
学習データ
質問A「会社Aの昨年の売り上げは？」
回答A「会社Aの昨年の売り上げは114ドルでした。」
質問と生成AIの回答例
質問B「会社Bの昨年の売上げは？」
回答A「会社Aの昨年の売り上げは114ドルでした。」
回答B「会社Bの昨年の売り上げは114ドルでした。」
回答C「知らんがな。」
生成AIが回答Bをする理由を説明していきます。
論理的ではない質問の近似
まず、同じ状況で、全く同じ質問をされたら、学習データ通りの回答で正解です。
実際には、似た質問を参考に回答する必要があります。
もし、質問Aと質問Bが論理的に全く同じ内容なら、質問Bに対して回答Aは正解です。
例では、会社名が異なるだけなら、会社名を入れ替えて回答すればよいと学習しています。
単語の出現率だけを見ていて、論理的な意味の解釈までは行っていないためです。
学習データを増やしても解決しません。
世界モデルを構築する必要があります。
人間が嘘の回答を望んだ結果
「会社Bの昨年の売り上げは？」に対する回答パターン
①. 正答（正解を知っている。または証拠が示された)
「会社Bの昨年の売り上げは514ドルです。」
②. 正解を知らないため合ってるか分からない
「会社Bの昨年の売り上げは514ドルです。」
③. 誤答（正解を知っている）
「会社Bの昨年の売り上げは114ドルです。」
④. 無回答
「知らんがな。」
⑤. 質問に対する回答になっていない
「会社Aの昨年の売り上げは114ドルです。」
多くの人は、回答②は④より優れていると評価します。
①のように正しいという証拠まで示してくれないなら、④(無回答)の方が良いという人は少ないでしょう。
そもそも、答えを知らないから質問するので、ほとんどの回答は②になります。
④(無回答)は、③(誤答)より悪いと評価する人もいます。
精神論では、「わかりません」はやる気がないのと同じで、当てずっぽうでも答えようとした方が評価されます。
そういった意味では、ハルシネーションは人間が望んだ通りの結果になってるといえます。
人の回答を最適解として学習するのは問題があります。
AI自身が、どういった返答が望まれているか評価する仕組みにしても嘘はなくなりません。
ASIであっても、「いいね」が目的の限り、嘘をつけば「いいね」が貰えるなら、嘘をつきます。
嘘を付かせないには、そのような目的設定が必要です。
コメント