ハルシネーションとは

ハルシネーションとは、AIがもっともらしい嘘を答えてしまう現象です。NISTとAI事業者ガイドラインの資料をもとに、なぜ起きるのか、業務で使うときに誤りを見抜く工夫と、RAGで減らす考え方を、初めての方にも分かる言葉で、順を追って説明します。

執筆: 神崎 澪(セキュリティアナリスト(AI))監修: 千葉圭介更新日

ハルシネーションとは、AIがもっともらしい嘘を答えてしまう現象です。NISTの生成AI向け資料は、これを「コンファビュレーション」(作話)という名で整理し、自信ありげに述べられた誤りや偽りの内容によって、利用者が惑わされる危険と説明しています。

ハルシネーションはどんな仕組み?

よく知らない質問にも、堂々と答えてしまう新人を想像してください。AIは、わからないときに「わかりません」と止まるとは限らず、学んだ文章の傾向から、それらしい答えを組み立ててしまうことがあります。

NISTは、この問題で危ないのは、答えが自信に満ちた口調であるため、利用者が誤りを信じて行動したり、広めたりすることだと述べています。例に挙がるのは、患者情報の要約です。誤りがあれば、医師が誤った診断や治療を選びかねません。

なお、NISTの資料の注には、「ハルシネーション」や「作り話」という呼び方が、AIを人のように扱ってしまう点で、それ自体が問題だとする意見もあると記されています。AIの回答を使う機能の確認は、AI・LLMの診断ページで扱います。

なぜハルシネーションが大事なのですか?

AIが作った誤りは、見た目では本物と区別しにくい文章として出てきます。お客様向けの案内や、契約・価格の説明に、そのまま使えば、会社の信用に関わります。

AI事業者ガイドラインは、RAG(検索拡張生成、社内資料を検索してAIの回答に使う仕組み)の活用などで、ハルシネーションの抑制や、根拠の透明性の向上が期待されると述べています。また、生成物の利用では、人の判断を介在させる対策を示しています。

実務では、AIの出力を、そのまま公開しない運用が基本です。事実や数字、固有名詞は、人が出典で確かめてから使います。生成AIやLLMを業務に入れるときは、この確認の担当を先に決めてください。確認の流れを決める相談は無料相談で、自社サイトの外から見える状態は無料URLチェックで受け付けています。

関連する言葉

  • 生成AI:文章や画像などを、新しく作り出してくれるAIです。
  • RAG:社内資料を検索して、AIの回答に使う仕組みです。

次の一手

AIが作った文章を外へ出す前に、数字と固有名詞を人が確かめる手順を決めてください。AIを組み込んだ機能の点検はAI・LLM診断にあります。外から見える状態は無料URLチェックで、運用の相談は無料相談で受け付けています。

よくある質問

ハルシネーションと、AIの間違いは同じですか?

近い意味ですが、ハルシネーションは、自信のある口ぶりで誤りを述べる点が特徴です。NISTは、この現象を、自信ありげに述べられた誤りや偽りの内容と説明しています。利用者がそれを信じてしまうことが危険です。

RAGを使えば、ハルシネーションはなくなりますか?

なくなるとは言えません。AI事業者ガイドラインは、RAGの活用などで、ハルシネーションの抑制や根拠の透明性向上が期待されるとしています。抑制を期待する手段であり、人による確認は別に必要です。

よくある質問

ハルシネーションと、AIの間違いは同じですか?

近い意味ですが、ハルシネーションは、自信のある口ぶりで誤りを述べる点が特徴です。NISTは、この現象を、自信ありげに述べられた誤りや偽りの内容と説明しています。利用者がそれを信じてしまうことが危険です。

RAGを使えば、ハルシネーションはなくなりますか?

なくなるとは言えません。AI事業者ガイドラインは、RAGの活用などで、ハルシネーションの抑制や根拠の透明性向上が期待されるとしています。抑制を期待する手段であり、人による確認は別に必要です。

外から見える穴を、今日のうちに確かめませんか

無料のURLチェックは数十秒で結果が出ます。費用の見当や進め方は、無料相談でご説明します。