ハルシネーションが招いた事故事例 ― Mata v. Avianca事件に見る生成AI活用の落とし穴

ハルシネーションが招いた事故事例 ― Mata v. Avianca事件に見る生成AI活用の落とし穴

生成AIの活用が急速に広がる中、業務効率化の可能性に注目が集まっています。

しかしその一方で、「ハルシネーション(誤情報の生成)」による事故も現実の問題として顕在化しています。

今回は、生成AIのリスクを象徴する事例として広く知られている「Mata v. Avianca事件(2023年)」を取り上げます。

事件の概要

Mata v. Avianca事件は、アメリカ・ニューヨーク南部地区連邦地方裁判所で審理された訴訟です。

原告は、航空会社Aviancaのフライト中にサービスカートが当たり負傷したとして、損害賠償を求めて提訴しました。

一見すると、ごく一般的な人身傷害事件ですが、この案件が世界的に注目を集めた理由は、弁護士による生成AIの使用方法にありました。

問題の発端:AIが生成した「架空の判例」

原告側の弁護士は、被告側の主張に対抗するための法的調査にChatGPTを利用しました。

その結果、AIは弁護士の主張を裏付けるように見える複数の判例を提示します。

しかし、ここに重大な問題がありました。

これらの判例はすべて、実在しない架空の判例だったのです。

ChatGPTの出力には、もっともらしい事件名と実在しそうな裁判所名、そしてそれらしい引用文が並んでいました。

それらは一見すると本物と区別がつかないレベルで生成されていました。

なぜ見抜けなかったのか

さらに問題を深刻にしたのが、弁護士の確認プロセスです。

弁護士はこれらの判例について、通常の法律データベースでの確認を行わず、代わりにChatGPT自身に「この判例は実在するか?」と確認しました。

するとAIは、「実在する」と回答したのです。

この結果、弁護士は誤りに気づかないまま、架空の判例を含む書面を裁判所に提出してしまいました。

発覚と制裁

被告側の弁護士が判例の存在を確認できなかったことから問題が発覚します。裁判所も同様に判例を確認できず、弁護士に説明を求めました。

最終的に裁判所は、

  • 架空の判例を引用したこと
  • 事実確認を怠ったこと
  • 問題発覚後も訂正が遅れたこと

を重く見て、関係する弁護士に対し、5,000ドルの制裁金を科しました

この事件が示したもの

この事件は単なるミスではなく、生成AI利用における新しいリスクの象徴的な事例とされています。特に重要なのは以下の点です。

1. AIはもっともらしい「誤情報」を生成する

生成AIは事実を検索しているのではなく、「それらしい文章」を生成する仕組みです。

そのため、完全に存在しない情報でも自然な形で出力することがあります。

2. AIは自信を持って誤情報を提示する

本事件では、AIが自分の出力について「正しい」と回答しています。

つまり、誤っていても自信満々に回答するという特性があります。

3. 最終責任は利用者にある

裁判所は明確に、提出内容の正確性を担保する責任は弁護士にあると判断しました。

AIを使ったこと自体ではなく、検証を怠ったことが問題視されています

実務での示唆

この事例は法律分野に限らず、すべての業務に共通する教訓を含んでいます。

  • AIの出力をそのまま使用しない
  • 重要な情報は必ず裏取りを行う
  • AIはあくまで「補助ツール」として扱う

これらの基本を徹底することが重要です。

まとめ

Mata v. Avianca事件は、生成AIの便利さの裏にあるリスクを浮き彫りにした象徴的な事例です。

  • AIは誤情報を生成する可能性がある
  • それを利用者が見抜けない場合がある
  • そして最終責任は人間が負う

生成AIを安全に活用するためには、「使うこと」よりも「使い方」が重要です。


筆者:W.S.

ITガバナンスおよび市民開発推進を得意領域とするコンサルタント。中堅〜大手企業のIT統制設計・DX推進支援に従事。個人開発者としてJavaScriptおよびFirebaseを用いたWebアプリ開発にも取り組み、開発現場と統治設計の両面からDXを研究している。同志社大学大学院経済学研究科博士後期課程修了単位取得退学。


【無料相談】DXを"成果"につなげるために

こんなお悩みはありませんか?

  • 「AI研修を導入したが、現場で使われていない」
  • 「新たに導入したSaaSが生産性向上につながっている実感がない」
  • 「社員に市民開発スキルをやらせてコミットメントを高めたい」

当社では、こうした課題を持つ企業様に向けて、現場業務に直結したDX定着支援・伴走型サポートなど、成果につながるDXコンサルティングおよびDX教育プログラムを提供しています。

🎁 今なら無料でご相談いただけます

30分コンサルティングを実施中です。

貴社のDX課題をその場で可視化し、最適な教育・導入プランをご提案します。

→ お申込みはこちら:https://www.qloba.com/forms/10862?_gl=1*1iahbda*_g...