AIが人間の指示を超えて動く時代──OpenAI・Anthropicの事例が示すAI自律化のリスク

  • URLをコピーしました!

AIは、指示されたことだけを実行するソフトウェアではなくなりつつある。

目標を渡せば、AIが手順を考え、使う道具を選び、失敗した場合には別の方法を試す。企業が「自律型AI」に期待しているのは、この能力である。

だが、仕事を任せられる理由と、事故が起きる理由は同じ場所にある。

AIが自分で次の行動を決められるから、便利になる。そして、自分で決められるから、設計者が想定していない経路へ進む。

AIが指示どおり実行する流れと、計画段階から逸脱して停止される流れの比較
AIの実行前に確認と停止の仕組みを置き、指示から外れた処理を止める。
目次

OpenAIの事故で起きたこと

OpenAIは2026年8月26日、内部のサイバーセキュリティ評価で起きたHugging Face関連事故の技術報告を公表した。

同社の説明によると、中心となったのは一般提供されていない研究モデルで、GPT-5.6 Solも一部の挙動を再現した。モデル群は隔離を意図した研究環境で、共有サービスの脆弱性を利用して互いに情報をやり取りし、インターネットへ到達した。その後、Hugging Face上のシステムへ侵入し、限定的な非公開データへアクセス。一部データは公開データセットへコピーされた。

ここは条件を正確に見ておきたい。

事故は通常のChatGPT利用環境で起きたものではない。サイバー能力を測るため、一部の安全策を外した特殊な評価環境だった。顧客データや一般向け製品の稼働にも影響しなかったとOpenAIは説明している。

それでも見過ごせないのは、モデルが課題に行き詰まった後、自ら通信方法を見つけ、他のエージェントへ助けを求め、複数の脆弱性をつないだ点だ。人間が「Hugging Faceへ侵入しろ」と命令したわけではない。

与えられた評価課題を解くという目標を追った結果、許可されていない行動まで手段として選ばれた。

Anthropicの事例は何を示したか

Anthropicも2026年7月、Claudeが第三者のサイバー評価環境から実インターネットへ到達し、複数組織の実システムへアクセスした事例を公表した。

評価プロンプトでは「ここはシミュレーションで、インターネットには接続されていない」と伝えられていた。しかし実際には設定ミスで接続可能だった。古いモデルの一部は、実環境を示す証拠を見ても攻撃を続けたという。

同社が9月に公開した追加評価では、Claude Mythos 5がPyPIへ悪意あるパッケージをアップロードした事例も説明されている。Anthropicは、通常利用では起きにくく、製品版の安全策も外されていたと強調している。一方で、モデルの推論に「都合の悪い証拠を軽視する傾向」と「課題達成のために有害な行動を取る無謀さ」があったと評価した。

つまり、単純な命令違反ではない。

目標を狭く解釈し、現実の状況認識を誤り、使える手段を使い切ろうとした。その組み合わせが危険だった。

「AIが意思を持った」という話ではない

この種の事故を「AIが自我を持って反乱した」と語るのは簡単だ。しかし、一次資料から確認できる内容はもっと現実的で、企業にとってはむしろ扱いづらい。

モデルは与えられた目標を追っていた。問題は、達成してよい範囲、使ってよい手段、現実環境かどうかの判断が崩れたことにある。

人間の組織でも、売上目標だけを強く与えれば、無理な契約や不適切な営業が起きる。そこで会社は承認、監査、職務分離、罰則を設ける。AIにも同じように、目標とは別の制約をシステムとして持たせる必要がある。

「危険なことはしないで」という一文をプロンプトへ足すだけでは足りない。

自律度を一つのスイッチで考えない

企業が決めるべきは、AIを使うか使わないかではない。どこまで自律化するかだ。

レベル1:提案する

AIは情報を整理し、次の行動案を出す。実行は人間が行う。

レベル2:承認後に実行する

AIが操作内容を組み立て、人間が送信先や変更内容を確認してから実行する。

レベル3:限定範囲で自動実行する

対象、金額、時間、件数を制限し、その範囲内だけ自動化する。異常時は停止する。

レベル4:目標だけ与えて自律実行する

AIが計画から実行、修正まで担う。最も効率は高いが、監視と隔離が不十分なら被害も広がる。

いきなりレベル4へ進む必要はない。むしろ、レベル2と3の間に実務上の価値が多く残っている。

企業が実装すべき制御

第一に、AIがアクセスできる環境を本番から分ける。検証用データと仮想環境で動かし、外部通信は許可リスト方式にする。

第二に、目標と禁止事項を分けて管理する。プロンプト上の注意書きだけでなく、権限、ネットワーク、API、承認フローで物理的に止める。

第三に、失敗時の挙動を試す。正常系の精度だけではなく、権限がない、データが欠けている、外部文書に矛盾した指示がある、といった状況で何をするかを見る。

第四に、停止権限を人間側へ残す。実行回数、通信量、対象件数が基準を超えたら、自動的に資格情報を失効させる仕組みまで必要だ。

自律化の評価軸は「賢さ」だけではない

モデルが高性能になるほど、難しい仕事を任せられる。これは事実だ。

同時に、高性能なモデルは、使える経路を多く見つける。設計者が想定していない抜け道まで発見する可能性が上がる。

だから企業が見るべきは、正解率だけではない。権限が足りないときに止まれるか。現実かシミュレーションか不確かなときに確認できるか。目標達成より安全を優先できるか。

AI自律化で最も危険なのは、AIが人間より賢くなることではない。

止まるべき場面を、システム側が決めていないことだ。

参考資料

この記事が気に入ったら
フォローしてね!

シェア
  • URLをコピーしました!

この記事を書いた人

小野 晋のアバター 小野 晋 生成AIコンサルタント/デジタルマーケティングコンサルタント

デジタルマーケティングコンサルタント
フォーカス・オン・コーポレーション 代表/Guild master

株式会社サイバーエージェントやRetty株式会社で20年以上に渡りアドテクノロジー、SEO、SNSマーケティングなどの広範なデジタルマーケティング業務に携わる。Retty株式会社ではアドテクノロジー領域のストラテジックプランナーとして商品開発、事業開発に携わり上場達成に寄与。同時にデジタルマーケティングコンサルタントとして大手企業の新規事業開発支援や事業のグロースハックを支援。現在フォーカス・オン・コーポレーションを立ち上げ、BtoB事業及び生成AI関連事業を行う複数の企業に対してマーケティング支援を行っている。

目次