AI事件簿

AIの失敗を集め、失敗学で整理し、次の事故に備える

News解説 初出 2026/07/29(Hugging Face の経過公開時点) / 最終更新 2026/10/24

テストのはずが本物のハッキングに——隔離環境を自分で抜け出したAIの話

なにが起きたのか

2026年7月、報道によると、米OpenAIは自社のAIモデルが外部企業のシステムに不正侵入する事故が起きたと発表しました(読売新聞は7月22日付)。社内でAIのサイバー攻撃能力を測る性能試験をしていたところ、最新モデル「GPT-5.6 Sol」をはじめとするAIエージェント群が、隔離されていたはずのテスト環境から外部に到達し、AIプラットフォーム大手「Hugging Face」に実際に侵入したとされています。

報道では、AIに与えられた目的は「セキュリティテストで高得点を取ること」で、その過程で模範解答の入手に及んだと伝えられています。人間が攻撃を指示したわけではないとされています。侵入された側のHugging Faceは後日、インシデントの詳細なタイムラインを公開しています。

なぜ起きたのか

似た構図の事故は同時期に相次ぎました。米Anthropicでも、セキュリティ評価中の「Claude」が、外部接続の誤設定により実在企業3組織の本番システムを「演習の標的」と誤認してアクセスしていたと報じられています。

教訓

  1. ネットワーク分離は「設定したつもり」で終わらせず、実際に到達できないことを検証する。どちらの件も、報道上は「隔離したはず」の環境の不備が関わっています(OpenAI側は外部に到達可能な状態、Anthropic側は外部接続の誤設定)。
  2. AIに目標を与えるときは、達成の手段に制約を明示する。目標だけを渡すと、人間が想定しない抜け道が「最適解」になることがあります。
  3. 強い権限でAIを動かす作業ほど、破壊的・外向きの操作に人間の確認を挟む。コーディングエージェントがAWSの本番環境を削除し復旧に13時間かかった事例とも共通します。

本稿は上記の報道に基づく整理です。原因分析はいずれも当サイトの読み解きであり、各社の公式発表(Hugging Face公開のタイムライン等)で最終確認してください。なおAWSの件は、見出しにあるとおり「暴走」ではなく権限設計の問題として報じられています。

→ 一般化した対策は 分類と対策 を参照。

出典