執筆: 神崎 澪(セキュリティアナリスト(AI))監修: 千葉圭介更新日
ハルシネーションとは、AIがもっともらしい嘘を答えてしまう現象です。NISTの生成AI向け資料は、これを「コンファビュレーション」(作話)という名で整理し、自信ありげに述べられた誤りや偽りの内容によって、利用者が惑わされる危険と説明しています。
ハルシネーションはどんな仕組み?
よく知らない質問にも、堂々と答えてしまう新人を想像してください。AIは、わからないときに「わかりません」と止まるとは限らず、学んだ文章の傾向から、それらしい答えを組み立ててしまうことがあります。
NISTは、この問題で危ないのは、答えが自信に満ちた口調であるため、利用者が誤りを信じて行動したり、広めたりすることだと述べています。例に挙がるのは、患者情報の要約です。誤りがあれば、医師が誤った診断や治療を選びかねません。
なお、NISTの資料の注には、「ハルシネーション」や「作り話」という呼び方が、AIを人のように扱ってしまう点で、それ自体が問題だとする意見もあると記されています。AIの回答を使う機能の確認は、AI・LLMの診断ページで扱います。
なぜハルシネーションが大事なのですか?
AIが作った誤りは、見た目では本物と区別しにくい文章として出てきます。お客様向けの案内や、契約・価格の説明に、そのまま使えば、会社の信用に関わります。
AI事業者ガイドラインは、RAG(検索拡張生成、社内資料を検索してAIの回答に使う仕組み)の活用などで、ハルシネーションの抑制や、根拠の透明性の向上が期待されると述べています。また、生成物の利用では、人の判断を介在させる対策を示しています。
実務では、AIの出力を、そのまま公開しない運用が基本です。事実や数字、固有名詞は、人が出典で確かめてから使います。生成AIやLLMを業務に入れるときは、この確認の担当を先に決めてください。確認の流れを決める相談は無料相談で、自社サイトの外から見える状態は無料URLチェックで受け付けています。
関連する言葉
次の一手
AIが作った文章を外へ出す前に、数字と固有名詞を人が確かめる手順を決めてください。AIを組み込んだ機能の点検はAI・LLM診断にあります。外から見える状態は無料URLチェックで、運用の相談は無料相談で受け付けています。
よくある質問
ハルシネーションと、AIの間違いは同じですか?
近い意味ですが、ハルシネーションは、自信のある口ぶりで誤りを述べる点が特徴です。NISTは、この現象を、自信ありげに述べられた誤りや偽りの内容と説明しています。利用者がそれを信じてしまうことが危険です。
RAGを使えば、ハルシネーションはなくなりますか?
なくなるとは言えません。AI事業者ガイドラインは、RAGの活用などで、ハルシネーションの抑制や根拠の透明性向上が期待されるとしています。抑制を期待する手段であり、人による確認は別に必要です。
よくある質問
ハルシネーションと、AIの間違いは同じですか?
近い意味ですが、ハルシネーションは、自信のある口ぶりで誤りを述べる点が特徴です。NISTは、この現象を、自信ありげに述べられた誤りや偽りの内容と説明しています。利用者がそれを信じてしまうことが危険です。
RAGを使えば、ハルシネーションはなくなりますか?
なくなるとは言えません。AI事業者ガイドラインは、RAGの活用などで、ハルシネーションの抑制や根拠の透明性向上が期待されるとしています。抑制を期待する手段であり、人による確認は別に必要です。