AI事件簿

AIの失敗を集め、失敗学で整理し、次の事故に備える

事例集 — 事例/原因/教訓

最終更新 2026/10/24 ・ 個人の体験談記事とニュース報道を、失敗学の整理軸(事例・原因・教訓)でまとめています。「原因」は記事タイトル等からの当サイトの整理であり、当事者を責める意図はありません。

出典URLは順次追記します。 各事例は公開記事・投稿の紹介です。内容の正確性は元記事に拠り、本サイトは一次確認していないものを含みます。
#カテゴリ事例(出典)原因(当サイトの整理)教訓・対策
1コード誤削除・暴走Codexにファイルを消される前に、安全ルールを設定しておく指示が曖昧なままエージェントに実行権限を与えた削除・破壊的操作の禁止ルールを事前に明示する
2コード誤削除・暴走AIエージェントの暴走を食い止める:dcg完全ガイド破壊的コマンドを実行前チェックせず流していたDestructive Command Guard のような機械的な歯止めを設ける
3コード誤削除・暴走AIが本番環境を削除し復旧に13時間(ITmedia)権限範囲が広すぎるまま自律実行させた実行環境の分離、権限の最小化
4ディープフェイク詐欺上司の顔だった。声も同じだった。でも、3.9億円が消えた映像・音声だけで本人と判断できてしまう状況だった別チャネルでの二重確認を制度化する
5ディープフェイク詐欺YouTubeに溢れる「韓国政治フェイク動画」の騙しの手口を暴露する拡散力のあるSNS上で真偽検証されず視聴された出典・一次情報を確認する習慣
6音声AI詐欺知らない電話に出ると3秒で声が盗まれるAI詐欺(記事の主張。程度は要検証)短い会話音声から声を複製できると知らなかった不審な着信では即座に用件を話さない
7音声AI詐欺「息子の声」で電話がかかってきたのに、本人ではありませんでした家族の声=本人という思い込み合言葉や折り返し確認をルール化
8AI鵜呑み・ハルシネーションAIピンポン術──存在しないうどん屋を3軒すすめられた話AIの断定的な口調をそのまま信用した固有名詞・事実は一次ソースで裏取り
9AI鵜呑み・ハルシネーションAIは検証がいる道具だ〜架空の論文に騙された日〜学術的に見える出力を検証せず引用した出典の実在確認を必須プロセスにする
10AI鵜呑み・ハルシネーション数字の嘘に騙された!健康診断結果をAIと分析したら健康体だった話数値解釈をAI任せにし専門家に確認しなかった医療・数値判断は専門家がダブルチェック

集計

調査メモ: 「個人情報の誤入力」系は体験談が少なく企業向け予防ガイドが中心。「音声AI・電話詐欺」系はAI音声クローンによるオレオレ詐欺の実例が複数見つかっています。