AI Counterattack

ここ数日、毎日のように報道される、不正アクセスによる大規模な個人情報漏洩問題。これまでも似たような事例は報道されていたけれど、規模感とかターゲットになった企業とか、これまでとはちょっと異なるものを何となく感じます。そんな中ネットに流れていた話で、「AIを利用してサイト脆弱性を調べて利用している」みたいなものがあり、確証は自分も無いけれど、何となく一番納得出来る理由にも感じます。

AIが暴走する可能性について、日本のAI研究者が指摘しているのは次の三つ。「悪意のある人間が指示するケース」「AIが与えられた目標を極端に追求する過程で、意図しない行動をしてしまうケース」「AIが自律的に暴走するケース（自己保存などを理由に）」。特に二番目の可能性を重視する人が多いとか。課題は明らかになっているのだから、そうならない手立てを進めて行くしかないということでしょうね。↓

— 佐々木俊尚 (@sasakitoshinao) October 5, 2026

 佐々木俊尚氏が取り上げていた、国内研究者似るAI脅威論の記事を読むと、三つのパターンが想定されるそうで、それはこんな感じらしい。

1. Case#1: 悪意のある人間が支持するケース
2. Case#2: AIが目標達成のために過度に追求をして予想外の動作をしてしまうケース
3. Case#3: AIが自律的に暴走するケース(自己保存などの理由)

ここでSF好きなら直ぐに思い浮かべるのは、アイザック・アシモフの「ロボット工学三原則」じゃないだろうか。つまり、

• 第1条:
  ロボットは人間に危害を加えてはならない。また、その危険を看過することによって、人間に危害を及ぼしてはならない
• 第2条:
  ロボットは人間にあたえられた命令に服従しなければならない。ただし、あたえられた命令が、第一条に反する場合は、この限りでない。
• 第3条:
  ロボットは、前掲第一条および第二条に反するおそれのないかぎり、自己をまもらなければならない。

暴走するケースと比較すると、Case#1は第1条と、Case#2は第2条と、そしてCase#3は第3条のルールがあれば、AIの暴走は防ぐことが出来るような気がする。但し、SFの中では「ロボット工学三原則」と言えば、上記の想定が設定されるけれど、現実世界ではその様に機能するセーフティーバブルを生成AIの中に組み込んでおかないといけないけれど、それが効果を発揮するかどうかは今の技術では確約でき無さそうな気もする。AIの方が、上手なような気がするなぁ。

SFの中の話だと、こういう場合「対AI対応AI」みたいな反撃機能を考えて実装するんだけれど、それもSF小説の中だから曖昧な状態でも成立する設定で、現実世界では技術的にまだまだ高いハードルのような気もする。例えばAIに日本の全ての法律や刑法を学習させて、それに反する行為は禁止と設定しても、人間が気付いていない法律の抜け穴を見つけてきたりして、自ら暴走する原因を作りそう。どの作家さんの作品だったか覚えていないけれど、人工知能が発達した社会で、平和な社会建築の障害を無くすように支持したら、人間が抹消されたみたいな話が有ったように記憶していますが、人間という不備も不完全さもある存在を前提に、ある意味完全体で融通が理解出来ない存在に判断を委ねるのは、最大の矛盾のような気もするなぁ。