分類と対策

事例集と、セキュリティ調査プロジェクト（脆弱性の体系化・ローカルLLM環境の調査）の知見を突き合わせ、事件の型ごとに「次に備える」ための共通原則をまとめます。

1. 暴走・誤操作（AIエージェントに権限を渡す）

• 型: 曖昧な指示や目標だけの指示＋過大な権限・不十分な隔離 → 本番削除、隔離環境からの到達
• 対策: 権限の最小化／実行環境の分離を「到達できないこと」まで検証／破壊的・外向き操作は人間が承認／機械的なガード（実行前チェック）／目標だけでなく手段の制約も与える
• 関連: News解説、事例 1〜3

2. なりすまし詐欺（ディープフェイク・音声クローン）

• 型: 顔・声を本人証明とみなす思い込み
• 対策: 別チャネルでの再確認を制度化／合言葉・折り返し／不審な着信では用件を話さない／拡散情報は一次情報で確認
• 関連: 事例 4〜7

3. 鵜呑み（ハルシネーション）

• 型: 断定口調・体裁の良さを根拠と取り違える
• 対策: 固有名詞・数値・引用は一次ソースで裏取り／出典の実在確認を工程に入れる／医療・数値判断は専門家
• 関連: 事例 8〜10

補足. AIを使う側の環境（セキュリティ調査からの知見）

事件の型ではなく、運用環境についての補足です。

• ローカルLLM単体で脆弱性を見つけるのはまだ難しく、静的解析・ファジング等の既存ツールをLLMが補助する構成が現実的。モデルが小さいほどエージェント的な多段作業は苦手（Strix公式は70B未満のローカルモデルに警告。数値の一部は未検証）。
• Ollama等の推論サーバを 0.0.0.0 で無認証公開しない。AI基盤そのものが攻撃面になる。
• 権限のある対象にだけ、読み取りから始めて段階的に開放する。