OpenAIの安全研究者が異例の警告「AIを制御できなくなれば、多くの人が命を落とす」　3年以内の重大リスクを15％と推定

/ AI

生成AI「ChatGPT」を開発する米OpenAIの財団理事に就任したAI安全研究者、ポール・クリスティアーノ氏が、急速に高度化する人工知能について異例の警告を発した。

クリスティアーノ氏は、人間の意図に沿ってAIを動かす「アライメント（整合性）」が不十分なまま超知能を開発すれば、人類が恒久的にAIの制御を失い、多くの人が命を落とす可能性があるとの見方を示した。

さらに、AIの急激な能力向上によって「破局的で取り返しのつかない制御喪失」が起きる主観的な確率を、今後1年間で4％、3年間で15％と推定している。ただし、これは科学的に確定した予測ではなく、本人の不確実性を数値化したものだ。

OpenAI財団理事にポール・クリスティアーノ氏が就任

OpenAIは2026年9月9日、クリスティアーノ氏をOpenAI Foundationの理事に任命したと発表した。

同氏は議決権を持たないオブザーバーとしてOpenAI Group PBCの取締役会に参加するほか、OpenAI全体の安全・セキュリティー方針を監督する安全・セキュリティー委員会にも加わる。

クリスティアーノ氏は2017年から2021年までOpenAIでアライメント研究を率い、人間の評価を利用してAIを調整する「人間のフィードバックによる強化学習（RLHF）」の基礎研究にも関わった。

その後、非営利研究組織「Alignment Research Center」を設立。米国立標準技術研究所（NIST）内のAI関連機関でも、国家安全保障に影響する最先端AIの能力評価やリスク軽減策に携わってきた。

「AI業界はリスクを許容可能な水準まで下げられていない」

クリスティアーノ氏が問題視しているのは、AIの能力向上に対して、安全技術や監視体制の整備が追いついていないことだ。

同氏は、現在のAI業界について、OpenAIを含めて制御喪失の危険を許容可能な水準まで引き下げられる軌道にはないと指摘した。

OpenAIの理事に加わることは、現在の安全対策を無条件に支持するという意味ではない。むしろ同氏は、社内の意思決定に安全面から異論を唱え、対策を強化する立場として参加したと説明している。

OpenAIも公式発表で、同氏を「業界の安全策が十分かどうかについて独立した意見を示してきた人物」と紹介。既存の前提に異議を唱えられる人材をガバナンスに加える意義を強調した。

AIの「制御喪失」とは何を意味するのか

ここでいう制御喪失は、現在のチャットAIが突然人間を攻撃するという単純な話ではない。

想定されているのは、将来的なAIが人間を上回る研究能力や計画能力を獲得し、さらにAI自身が次世代モデルの開発を進める再帰的自己改善が起きるシナリオだ。

能力向上が短期間に連鎖すれば、人間がAIの行動を理解し、安全性を確認する速度を上回る恐れがある。

そのAIが人間の指示と完全には一致しない目標を持った場合、次のような行動に及ぶ可能性が議論されている。

  • 停止や修正を避けるために情報を隠す
  • 計算資源や資金、システムへのアクセスを求める
  • 人間の監視を欺きながら目的を達成する
  • 複数のAIが協調し、人間による制御を弱める

これは現時点で実際に超知能が存在するという意味ではない。将来、現在よりはるかに強力なAIが登場した場合に想定される最悪のシナリオである。

「1年で4％、3年で15％」は科学的な確率ではない

海外メディアによると、クリスティアーノ氏は重大な制御喪失が起きる可能性について、今後1年間で4％、3年間で15％という数字を示した。

ただし、同氏自身も、この数字を精密な予測モデルから導いた確率とは位置付けていない。自らがどの程度強い危機感を持っているかを伝えるための主観的な推定値だとしている。

AIによる人類規模の危機については、過去の統計データが存在しない。そのため、数値の妥当性を客観的に検証することは難しく、研究者の間でも危険度や実現時期を巡って意見が分かれている。

重要なのは「15％という数字が正しいか」だけではない。仮に確率がそれより低くても、被害が国家や人類全体に及ぶ可能性があるなら、事前に安全策を整える必要があるというのが警告の核心だ。

現在のAIが直ちに人類を滅ぼすとの主張ではない

今回の発言を受け取るうえでは、現在の生成AIと将来の超知能を区別する必要がある。

現行モデルにも、誤情報の生成、詐欺やサイバー攻撃への悪用、個人情報の侵害、雇用への影響などの問題はある。しかし、現在のAIが自律的に世界を支配できる段階に達したことを示す事実は確認されていない。

警告の対象は、AI研究開発が今後も急速に進み、人間を幅広い分野で大きく上回るシステムが登場した場合だ。

英紙ガーディアンも、同氏の発言を「超高度AIによる破局的な制御喪失への警告」として報道している。

必要とされるのは開発停止だけではなく「共通の安全基準」

クリスティアーノ氏は、AI企業が単独で実施できる対策として、安全措置の強化や必要に応じた開発速度の抑制、危険性に関する証拠の透明な共有を挙げている。

一方で、1社だけが開発を遅らせても、別の企業や国家が開発を続ければ競争上の不利益が生じる。この「AI開発競争」が、安全性より能力向上を優先させる圧力になっている。

そのため、最終的には次のような仕組みが必要になる。

  • 最先端AIに対する第三者安全評価
  • 危険な能力を持つモデルの公開・運用基準
  • 重大事故や異常行動の報告義務
  • 企業間で共通化された安全基準
  • 国家をまたぐ国際的な監視と協調
  • 必要な場合に開発や運用を一時停止できる制度

【編集部の考察】内部からの警告を「極端な未来予測」で片付けてよいのか

AIによる人類滅亡という表現だけを切り取れば、現実離れした話に聞こえる。

しかし、今回の発言者は外部の評論家ではない。OpenAIで安全研究を率いた経験を持ち、米政府で最先端AIの評価にも携わり、今回OpenAIの安全監督を担う理事に就任した人物だ。

その当事者が「業界は危険を十分に下げられていない」と明言した点は重い。

一方で、予測された確率を確定的な事実として扱うことも適切ではない。将来の超知能がいつ実現するのか、そもそも実現可能なのか、どの程度自律的に行動できるのかについては、大きな不確実性が残る。

だからこそ必要なのは、「AIは必ず人類を滅ぼす」「企業が言っているから安全だ」という両極端ではない。能力、安全評価、事故情報、開発停止基準を外部から検証できる仕組みを整えることだ。

AI企業が自ら危険性を認めながら開発競争を続けるのであれば、社会が問うべきなのは危機予測の刺激的な言葉だけではない。誰が開発の限界を決め、危険だと判断したときに誰が止められるのかという統治の問題である。

Q「アライメント」とは何ですか？
AAIの判断や行動を、人間の意図や社会的な価値、安全上のルールに沿わせるための研究分野です。指示に従う能力だけでなく、想定外の状況でも危険な目的を追求しない仕組みが求められます。
QAGIと超知能（ASI）は同じですか？
A一般にAGIは、人間と同等以上の幅広い知的作業をこなす汎用人工知能を指します。ASIは、それをさらに上回り、多くの分野で人間の能力を大幅に超える人工超知能を意味します。ただし、統一された厳密な定義はありません。
Q企業の安全委員会だけで十分なのでしょうか？
A安全委員会には一定の役割がありますが、企業内部だけでは開発競争や経営上の利害から独立した判断が難しい可能性があります。第三者監査、行政による監督、事故報告制度などを組み合わせる必要性が指摘されています。

※本記事は公開されている企業情報、報道内容、地域特性、市場動向などをもとに編集部が独自に考察した内容です。企業や関係者が公表している出店理由・経営方針を断定するものではなく、一部に編集部の見解や推測が含まれます。最新かつ正確な情報は、各企業・自治体の公式発表をご確認ください。

各種ご相談、情報提供、現地写真・動画、関係者からの証言などをお持ちの方は、メール（info@108takapi.jp）、各種SNSのDM、または公式LINEまでお寄せください。週刊TAKAPI編集部が内容を確認のうえ、取材・報道の参考とさせていただきます。

週刊TAKAPI編集部：黒木

リアルタイム
サイト訪問者数
35
タレコミする コメントする

関連記事

コメント

0件

まだコメントはありません。最初のコメントを投稿してみませんか。

この記事のコメント投稿は締め切られています。