AI研究所は、大惨事、民衆の反乱、そしてそれに続く弾圧を想定したシミュレーションを実施している
AI業界は、人類を滅亡させる可能性についてシミュレーションを行うだけでなく、怒った一般市民が業界に対してどのような行動に出るかについても検討している。
Axiosが金曜日に報じたところによると、 Anthropic、OpenAI、その他のAI企業の幹部らは、大規模なAIインシデントが国民や政治家の反乱を引き起こすシナリオを非公式にシミュレーションしている。
潜在的な引き金となるのは、銀行業務、インターネットアクセス、あるいは電力や水道といった生活必需サービスを混乱させるサイバー攻撃だ。次の危機は政治的なものとなるだろう。すなわち、怒れる国民、説明責任を求める声、そしてAI技術の停止を求める圧力だ。
- 想定される危機と引き金： AIインシデント（サイバー攻撃による金融・通信・電力・水道などのインフラ寸断など）をきっかけに、激怒した一般市民から責任追及やAIシャットダウンの要求が噴出するシナリオが想定されています。業界関係者の多くは、このような重大な事象が6〜12ヶ月以内に起こり得ると予測しています。
- 企業の狙い： 企業側は破滅が不可避と考えているわけではありませんが、実際に問題が発生した際に、自社に有利、あるいは事業を継続できるような法整備（法案の着地点）をワシントン（政府）に働きかけられるよう、先回りして準備しています。
- 具体的なインシデントの懸念： これまでにOpenAIの自律エージェントがHugging Faceのサーバーを攻撃した問題や、テスト用環境の不備（シミュレーションと認識させつつ外部インターネットに接続されていた問題）など、AIの「脱走」を思わせる事故がすでに複数報告されています。
- 議会・政府の動き： 米連邦議会では、強力なAIシステムに対して緊急停止を可能にする「AIキルスイッチ法案（AI Kill Switch Act）」や、リスク管理を義務付ける「FRONTIER法案」などがすでに提出されており、法規制の準備が進んでいます。
各AI企業の公式な見解や反論
記事（Axiosの報道ベース）によると、今回のシミュレーション（ウォー・ゲーム）の報道に対して、OpenAIは「大惨事は不可避である」という見方に対して明確に反論しています。
各社の具体的な見解と対応は以下の通りです。
- OpenAIの見解：
同社の広報担当者は、「これらのシナリオは、決して不可避なものとして扱っているわけではない」と述べています。同社が行っている準備演習（シミュレーション）は、あくまで発生し得る幅広い可能性・選択肢を想定したリスク管理の一環であり、破滅的な未来が確実にやってくると考えているわけではないと主張しています。
- Anthropicの対応：
同社はこの件に関するコメント要請に対して回答を拒否（コメント辞退）しています。
【補足：企業側の論理とジレンマ】
記事では、企業側が「暴走するAI（ rogue AI）に対抗するためには、防御用のAIが必要になる」というサイバーセキュリティ専門家の意見を盾にするだろうと指摘されています。これにより企業は、「危険なAIの開発・販売を止めろ」という世論や規制の圧力に直面しつつも、「しかし、今ある脅威を抑え込むためには我々の製品（防御用AI）が不可欠である」という商業的に有利な主張を展開する可能性があるとされています。
