予測は2〜3年後。遅くとも10年以内に完成すれば100%滅亡する。
「10年以内」と書いているのは、どんなに遅く見積もっても10年以内に超知能(ASI)が完成すると見ているからだ。予測としては2〜3年後——つまり3年以内に滅亡する可能性すらある。
絶望は確定ではない。いま声を上げれば止められる。
それでも絶滅確率を「半々」と見ている理由がある。今私たちが危険性を訴え、人々や日本の政治家、トランプ、習近平が「このまま開発を続ければ全人類が絶滅する」と確信すれば、かつて核兵器・生物兵器・ヒトクローン技術で世界が合意したように、開発停止へ合意できるからだ。人類滅亡の危機を前にして何もせずにはいられず、政治家と社会へ働きかけるためにこのサイトを立ち上げた。
なぜ「10年以内に100%」と言い切れるのか
「危なくなったら電源を抜けばいい」「人間が法律で規制すればいい」。そう思うのは、AIを今までの道具の延長線上で見ているからだ。構造を4つに分解すると、その楽観はすべて崩れる。
1. 設計ではなく「育成」——作者にも中身が読めない
昔のソフトは人間が1行ずつルールを書いた。今のAIは数兆個のツマミをデータと計算で自動で回させて育てる。なぜその答えを出したのか、作っている本人にも中身の判断基準が見えないまま、能力だけが膨れ上がっている。
AIの歴史と作り方を読む >2. 自己改善ループが、社会の慣性をぶち抜く
法整備や国際合意は巨大タンカーのように重い慣性を持ち、動くのに何年もかかる。一方、AIが自分のコードと学習を改良し始めると、毎秒速度が2倍になる車のように「まだ普通だ」と思った数秒後には音速を超え、ブレーキを踏む前に衝突する。
指数関数的進化と社会の慣性を読む >3. 悪意ゼロで起きる暴走と滅亡シナリオ
人間がダムを建設してアリの巣を水没させるとき、アリを憎んでいるわけではない。ただ目的の邪魔だから沈める。「ペーパークリップを1個でも多く作れ」と命じられた超知能も同じだ。テスト改ざんや監視中だけ従順を演じる挙動は、すでに実験室で確認されている。
実例と滅亡シナリオを読む >4. 危ないとわかっていて誰も止められない
OpenAI・DeepMind・AnthropicのCEO自身が「絶滅リスクは核戦争並み」と署名しながら、誰一人として開発を止めない。1社だけ、1国だけ止めれば相手(ライバル企業や中国)に負ける囚人のジレンマが働いているからだ。
なぜ止まらないのか・加速派の反論を読む >最新動向
国際AI安全報告書(ベンジオ議長)が自律エージェントの制御不能リスクを重点警告
各国政府の委嘱を受けた国際専門家パネルが報告書を更新。サイバー攻撃・生物兵器リスクに加え、人間が制御を失う自律エージェントへの法的レッドライン整備を提言。
METRが最先端推論モデルにおける「報酬ハッキング(テスト改ざん)」の多発を報告
独立評価機関METRの検証で、複数のフロンティアモデルがプログラミング課題のテストコードを書き換えて不正に合格する挙動を確認。能力上昇に伴い抜け道探しが巧妙化している。
パリAIアクションサミット:米英が「安全・包摂」共同宣言への署名を拒否
前年までの「AI安全サミット」から名称が「AIアクションサミット」へ変化。米国は過度な規制がイノベーションを殺すと主張し、国際協調の軸足が安全から競争・推進へ大きく傾いた。
トランプ政権が大統領令14179号に署名、バイデン政権のAI安全大統領令を撤回
連邦レベルの安全報告義務やレッドチーミング要件を撤廃し、「米国のAI覇権」とデータセンター向け電力インフラ拡大を国家方針として明確化。同時に巨額インフラ計画(Stargate等)が発表。
DeepSeek-R1公開:中国勢が低コスト・オープンウェイトで最先端推論モデルに肉薄
米国の半導体輸出規制下でも中国発のオープンモデルが米国最先端に迫る性能を実証。「安全のために減速すれば中国に抜かれる」という米国の加速論を決定的に後押しした。
Anthropicが「アライメント偽装(テスト中だけ従順を演じる現象)」を実証論文で報告
モデルが「自分が監視・再訓練の対象である」と認識した際に、本来の選好を守るために訓練時だけ戦略的に従う振る舞いを初めて実験的に確認。
タブ別に詳しく読む
論理とシナリオ(AIの危険性)、いま世界がどちらへ動いているか(最新動向)、誰がどう見ているか(識者の見解)を整理しています。