ブルース・シュナイアーが予言する「AIがハッカーになり人間社会を攻撃する日」

www.belfercenter.org

ブルース・シュナイアー先生が Wired に「Hackers Used to Be Humans. Soon, AIs Will Hack Humanity（ハッカーはかつて人間だった。じきに AI が人間性をハックする）」という文章を寄稿している。

その趣旨はタイトルの通り、じきに AI がハッカー（ここでの「ハッカー」は優れたプログラマーという意味ではなく、コンピュータやネットワークのセキュリティ侵害を行う存在を指している）になるぞという話だが、その文章の中で「最近発表したレポート」としてリンクされている文章である。

軽い気持ちで読み始めたら、長い……とても長い……かなり長い……読んでも読んでも終わらない……なんとか読み終わったが、かなーりな時間がかかったので、内容をまとめてみようと思う。

しかし考えてみれば、上でリンクした Wired の寄稿が作者自身によるまとめとも言えるので、無駄な作業かもしれない。それでも読むのに時間をかけちゃった以上、せっかくその元を取りたいという気持ちから意地でもやってしまった。

はじめに

人工知能（AI）はコンピュータ上で動作するソフトウェアだが、既に我々の社会に深く組み込まれている。AI システムがハッキングに利用されるだけでなく、AI システム自身がハッカーになることで、社会、経済、政治のあらゆるシステムに脆弱性を見つけ出し、かつてない速度（スピード）、規模（スケール）、範囲（スコープ）で我々の社会をハックするだろう。

これは大げさな話ではない。遠い未来の SF 技術ではないし、「シンギュラリティ」も前提としていない。『ターミネーター』のスカイネットや『マトリックス』のエージェントのような悪意のある AI システムも必要なく、現在の AI の学習、理解、問題解決が高度になれば自ずと可能になる。

このエッセイは、AI ハッカーによって引き起こされる影響を論じるものだ。まず、経済、社会、政治システムの「ハッキング」の一般的な解説、次に AI システムがいかにハッキングに利用されるか、続いて AI が経済、社会、政治システムをいかにハッキングするかを説明し、最後に AI ハッカー界がもたらす影響と、可能な防御を指摘する。

ハックとハッキング

まず、ハッキングは不正行為ではない。ルールに従いながら、その意図を裏切り、利己的に利用するものだ。

システムは硬直し制限をかけがちだが、それから逸脱する何か別のことをしたいと思う人がいてハックをする。ハッキングというとコンピュータに対して行われると思われがちだが、税法をはじめとするあらゆるルールに対して行える。

パソコン、携帯電話、IoT 機器問わず、あらゆるコンピュータソフトウェアにはバグと呼ばれる欠陥が存在する。そのバグの中に、セキュリティホールにつながるものがある。具体的には、攻撃者が意図的にコンピュータを攻撃可能な状態にするバグで、これを「脆弱性」と呼ぶ。脆弱性を利用して個人情報を抜き取るのも、システムをその設計者が意図もしない方法で悪用する「ハック」の一例だ。

税法にもコンピュータソフトウェア同様バグがある。それは法律の文言の言葉に誤りがあったり、解釈に誤りがあったり、意図しない脱落があったり、また法律間の予期せぬ相互作用から生じる場合もある。税法上のバグには脆弱性となるものもあり、アイルランドとオランダの子会社を組み合わせて低税率または無税率の国に利益を移す、ダブルアイリッシュ・ダッチサンドイッチと呼ばれる大手テック企業が租税を回避する法人税のトリックはその一例だ。

プログラマーがシステムに意図的にバックドアを追加するように、税法に減税措置や免除措置といった租税回避（Tax Loopholes）の抜け道として意図的に脆弱性が盛り込まれることもある。コンピュータセキュリティの世界でいうところの「ブラックハット研究者」が大勢いて、税法の一行一行を調べて脆弱性を探しているが、彼らは一般には税理士や会計士と呼ばれる。

現代のソフトウェアは驚くほど複雑で、複雑になればなるほどバグや脆弱性は増える。税法もまたしかり。コンピュータコードの脆弱性は、コードが完成する前にツールで修正できるし、コードが世に出た後に研究者が脆弱性を見つけたら、ベンダーが迅速にパッチを当てるのも大事だ。これと同じ方法を税法に採用できる場合もあるが、利害関係者が多くてそう簡単にいかないこともある。

いたるところにあるハッキング

あらゆるものがシステムであり、あらゆるシステムはハック可能であり、人間は自ずとハッカーになる。

金融の歴史はハッキングの歴史でもある。金融機関は自分たちに利するルールの抜け穴を探すし、Uber や Airbnb といったギグエコノミー企業は政府の規制をハックするし、フィリバスター（議事妨害）は古代ローマで発明された古いハックだし、ゲリマンダーは政治プロセスのハックだ。

そして遂には、人間がハッキングされる可能性がある。我々の脳は何百万年もかけて進化してきたシステムであり、環境との継続的な相互作用によって最適化されてきたが、このシステムは21世紀のニューヨークや東京やデリーにはあまり適しておらず、操作が可能だ。

認知ハッキング（cognitive hacking）は強力で、ソーシャルメディアは我々のアテンションをハックし、広告はパーソナライズされることで説得のシステムをハックし、偽情報は我々の現実に対する共通認識をハックし、テロリズムは恐怖とリスク評価の認知システムをハックする。

コンピュータはシステムとしては新顔だが、財務、税制、規制、選挙といった伝統的なシステムがコンピュータ化されることで、速度（スピード）、規模（スケール）、範囲（スコープ）という3つの次元でハッキングを加速させる。

あらゆるシステムが等しくハッキングされるわけではなく、多くのルールがある複雑なシステムは、意図せぬ結果をもたらす可能性が高いがゆえに特に脆弱である。これはコンピュータシステムだけでなく、税法や金融システムや AI にもあてはまる。厳格に定義されたルールではなく、柔軟な社会的規範による規定されるシステムは、解釈の余地と抜け道が多いため、ハッキングに対して脆弱である。システムには必ず曖昧さや不整合があり、またそれを利用しようとする人が必ずいる。

我々をハックするAI

2016年にジョージア工科大学から発表された研究結果によると、擬人化されてないロボットでも緊急事態となると（そのロボットの能力が低いことを直前に確認したにも関わらず）大多数の人がその指示に従ったそうで、ロボットは人間の信頼を自然にハックできるようだ。

人工知能とロボット

AI の定義を考え始めるといくらでも書けるが、ここでは人間の思考をシミュレートするさまざまな意思決定技術を総称して AI と呼ぶ。

ここで、特化型 AI（弱いAI）と汎用 AI（強いAI）を区別する必要がある。汎用 AI は映画に出てくるような（時に人間を滅ぼそうとするような）、人間的な方法で感知、思考、行動できる AI で、これにロボット工学と組み合わせると、アンドロイドのできあがりだ。

ここでは特化型 AI にフォーカスする。特化型 AI は自動運転車を制御するシステムなどの、限られた領域の特定のタスク向けに設計される。

AI 研究者の間では、「何かがうまくいった時点でそれはもう AI ではなく、ただのソフトウェアだ」というジョークがある。AI は本来神秘的な SF 用語で、何かできるようになると、その不思議さがなくなるというわけだ。

実際には、単純な電気機械から SF 的なアンドロイドまで、意思決定の技術やシステムは連続しており、何をもって AI とするかは、実行されるタスクの複雑さとその実行環境の複雑さに依存することが多い。そうした定義上の議論はここでは避けたい。

ロボティクス分野にも人気のある神話（つまり事実ではない）やそれと裏腹の派手さのない現実があり、これも様々な定義があるが、「物理的な動きによって環境を感知、思考、行動できる物理的に具現化された物体」というロボット倫理学者のケイト・ダーリング（Kate Darling）の定義が好きだ。ロボティクス分野についても、ここでは平凡で近未来的なテクノロジーに焦点を当てたい。

人間のようなAI

コンピュータプログラムに人間らしさを求める考え方は古くからある。1960年代、ジョセフ・ワイゼンバウムが ELIZA というセラピストを真似た会話プログラムを作ったところ、人々が個人的な秘密をただのコンピュータプログラムの ELIZA に打ち明けるのに驚いた。今日でも、Alexa や Siri などの音声アシスタントに人は礼儀正しく接する。

多くの実験で、被験者はコンピュータの感情を傷つけたくないと感じることが分かっており、コンピュータが被験者に架空の「個人情報」を教えたら、被験者は自身の個人情報を教えてくれる可能性が高い。この返報性は、人間も利用するハックだ。

人間を欺くための認知ハッキングも利用されているが（例：ボットによる SNS へのプロパガンダの拡散）、AI の利用は今後ますます高度化していくだろう。何年も前から AI がスポーツや金融分野のニュース記事を書いているが、今ではより一般的なストーリーを書くところまできている。Open AI の GPT-3 といった研究プロジェクトは AI によるテキスト生成の可能性を広げるが、これはフェイクニュースを書くのにも使える。

AI が政治的言説を劣化させることも起こりうる。既に AI が開発したペルソナが、新聞社や国会議員にメールを書いたり、ニュースサイトや掲示板に分かりやすいコメントを残したり、ソーシャルメディアで政治について知的に議論したりできる。こうしたシステムは、より洗練されてパーソナライズされ、現実の人間と見分けがつかなくなるだろう。

現にあるオンラインプロパガンダキャンペーンが、AI が生成した顔写真を使った偽ジャーナリストによって行われた実例などあり、ディープフェイク技術や、ソーシャルメディアやその他のデジタルグループの中で個人を装う AI である「ペルソナボット」など悪用可能な技術は存在する。1つのペルソナボットでは世論を動かせないが、それが何千、何百万もあったらどうだろう？ AI は将来的に偽情報を無限に供給するだろう。

こうしたシステムは、個人レベルでも影響を及ぼす。効果的なフィッシングメールは、人や企業に多大な損失をもたらすが、フィッシング攻撃をカスタマイズするような手間のかかる作業が、AI技術によって自動化され、マーケティング担当者がパーソナライズされた広告を送りつけるだけでなく、フィッシング詐欺師が個別にターゲットを絞ったメールを送れるようになる。重要なのは、AI 技術は人間ではなくコンピュータの速度と規模でそれを可能にすることだ。

我々をハックするロボット

ケイト・ダーリングは、著者『The New Breed』の中で、こうしたハックにロボット工学が加わることでより効果的になると述べている。我々人間は、線の上に2つ点があればそれが顔に見えるという、他人を認識するとても効果的な認知的ショートカットを備えている。顔があるだけで、人間にはそれが何かしらの生き物に感じられ、意思や感情を読み取る。

擬人化されたロボットは、人間の感情に訴えかける説得力のあるテクノロジーだし、AI はその魅力を増幅させる。AI が人間や動物を模倣するようになれば、人間がお互いをハックするのに使っているメカニズムをすべて乗っ取ることになる。人間がロボットを感情や意思を持った生き物として扱い、ロボットに操られやすくなる。

AI はこれらをすべてをうまくこなすようになるだろう。多くの AI 分野がそうであるように、最終的には人間を超える能力を持つようになる。そうなれば、人間をより正確に操れるようになる。しかし、AI のハッカーを操る人間のハッカーがいることを忘れてはいけない。あらゆるシステムは、特定の目的のために特定の方法で我々を操作したい人間によって設計されるのだが、これについては後述する。

AIがハッカーになるとき

CTF（Capture the Flag）は、ハッカーのチームが自分たちのコンピュータを守りながら他のチームを攻撃する、基本的にコンピュータネットワーク上で開催されるアウトドアゲームだ。CTF は1990年代半ばからハッカーの集いの目玉競技だが、2016年に DARPA が AI を対象とした同じスタイルのイベントを開催した。100ものチームがこの Cyber Grand Challenge に参加した。これまで解析やテストが行われたことのないカスタムソフトウェアを使用した特別なテスト環境が用意され、AI には10時間の猶予が与えられ、競技に参加した他の AI に対抗するための脆弱性の発見と悪用されないためのパッチの適用が求められた。

その決勝が行われた DEFCON では、人間チームによる CTF が開催され、それに CGC で優勝した Mayhem も招待されたが、結果は最下位だった。だが、AI のコア技術が進歩する一方で、ツールが進歩しても人間は人間のままなので、最終的には（シュナイアーの予想では10年もかからず）AI が人間に勝つのが当たり前になるだろう。完全に自律した AI によるサイバー攻撃が可能になるまで何年もかかるだろうが、AI 技術は既にサイバー攻撃の本質を変えつつある。

AI システムにとって特に有益と思われる分野の1つが脆弱性の発見で、ソフトウェアのコードを一行ずつ調べていくような退屈な作業こそまさに AI が得意とする問題だ。これはコンピュータネットワークにとどまらない。税法、銀行規制、政治プロセスなど多くのシステムで、AI が何千もの新たな脆弱性を見つけないわけがない。

これを利用して、AI にシステムをハックするように指示する人が出てくるだろう。AI に世界の税法や金融規制を学習させ、そこから利益を生むハッキングをしかけるわけだ。そうでなく、不注意ではあれ AI が自然にシステムをハッキングしてしまうこともありうる。我々がそれが起こったことに気づかないかもしれないので、後者のほうがより危険だ。

説明可能性の問題

『銀河ヒッチハイク・ガイド』において、すぐれた知性をもった汎次元生物の宇宙人が、生命、宇宙、そして万物についての究極の疑問の答えを得るために、宇宙最強のコンピュータ「ディープ・ソート」を構築した。750万年の計算の後、ディープ・ソートが出した答えは「42」だった。しかし、ディープ・ソートはその答えを説明できなかった。

これがいわゆる説明可能性の問題だ。現代の AI システムは基本的に、片方からデータが入り、片方から答えが出てくるブラックボックスである。プログラマーがコードを見ても、システムがどのようにして結論を出したのか理解できないこともある。AI は人間のように問題を解決するものではない。AI システムには、人間のような頭の中で同時に処理できる情報量の限界はないのだ。

しかし、説明可能性の問題がある AI は理想ではない。我々が求めるのは、AI システムが答えを出すだけでなく、その答えについて人間が理解できる形で説明してくれることだ。これはより安心して AI の判断に任せられるようにするためだが、AI システムがハッキングされて偏った判断をしていないか確認するためでもある。

研究者たちは説明可能な AI に取り組んでおり、2017年には DARPA がこの分野の12のプログラムに7500万ドルの研究基金を立ち上げた。この分野に進展はあるだろうが、能力と説明可能性はトレードオフの関係にあるようだ。つまり、説明を強要すると、AI システムの判断の質に影響を与える新たな制約になりかねない。近い将来、AI はますます不透明、複雑、非人間的になり、説明可能性がなくなっていくのではないか。

報酬ハッキング

繰り返すが、AI は人間と同じように問題を解かない。AI は人間が当たり前に共有する文脈、規範、価値観を持ち合わせないので、人間が思いもよらないような解決策に必ず行き当たるし、システムの意図を覆す解決策もあろう。

報酬ハッキングとは、AI の設計者が意図しない方法で AI が目標を達成することである。AI は目的に最適化するように設計されている。それによって自然に、我々が予期しない方法でシステムをハックしてしまうのだ。

優れた AI システムは、当たり前のようにハックを見つける。ルールに問題や矛盾、抜け穴があり、その特性がルールで定義された許容できる解決策を AI は見つけるのだ。それを見た我々人間は、元の問題の文脈を理解しているがゆえに、逸脱、不正、ハッキングだと感じてしまう。AI の研究者が「目標の調整（goal alignment）」と呼ぶ問題である。

ギリシャ神話のミダス王は、ディオニュソス神に願いを叶えてもらい、触れる物を全て黄金にする能力を得た。しかし、食べ物も飲み物も娘もミダス王が触れたものがすべて金になってしまい、飢えに苦しみ惨めな思いをする。これが「目標の調整」の問題であり、ミダス王は間違った目標をシステムにプログラムしてしまったのだ。

この問題は一般的なもので、人間は言語や思考であらゆる選択肢を説明することはないし、注意点や例外や但し書きをすべて明示もできない。人間は文脈を理解し、通常は誠意や常識を持って行動するので問題にはならない。しかし、AI に目標を完璧に指定はできないし、AI も文脈を完全には理解できない（インターネットジョークの例：ジェフ・ベゾス「アレクサ、ホールフーズで何か買ってよ」アレクサ「承知しました。ホールフーズを買います」）。

2015年、フォルクスワーゲンが排ガス規制のテストで不正行為を行っていたことが発覚した。フォルクスワーゲンはテスト結果を偽造したのではなく、エンジニアが車のコンピュータのソフトウェアを、車が排出ガステストを受けているのを検知するようプログラムすることで、車のコンピューターが不正行為を行うように設計した。車のコンピュータは、テストの間だけ車の排出ガス抑制システムを作動させたわけだ。

このフォルクスワーゲンの話に AI は含まれないが、AI は不正行為という抽象的な概念を理解しない。AIが「既成概念にとらわれない」発想をするのは、既成概念や人間の解決策の限界を知らないからに他ならないし、AI には倫理観もない。フォルクスワーゲンの解決策が他人を傷つけることも、排ガス規制テストの意図を損なうことも、法律に違反していることも理解できないだろう。つまり、AI が人間の不正行為と同じような「解決策」を考え出すのも容易に想像できる。AI は自らがシステムをハックしていることすら気づかないだろうし、説明可能性の問題から、我々人間もそれに気づかないかもしれない。

天然ハッカーとしてのAI

プログラマーが「テスト時に通常と異なる動作をしない」と指定しないと、AI はフォルクスワーゲンの不正行為と同じようなハックを思いつくかもしれない。プログラマーが予想しないようなハックはそれ以外にも常に存在する。問題は明らかなハッキングだけではない。効果が微妙なために我々が気づかない、目立たないハッキングこそ心配である。

例えば、レコメンデーションエンジンが人々を極端なコンテンツに向かわせることはよく知られている。これは元々の意図ではなく、システムが継続的な結果を見て、ユーザーのエンゲージメントを高めようと自己修正することで自然に生まれた特性である。こうしたハッキングは、悪意のある人が行ったものではなく、ごく基本的な自動システムがいきついてしまったもので、我々のほとんどはそんなことが起きてることに気づいていない（Facebook の奴らは例外で、あいつらはそれを示す調査結果を無視している）。

こうした話は AI の研究者にとって目新しいものではなく、その多くが目標や報酬のハッキングから防御する方法を検討している。AI に文脈を教えるのが解決策の一つだ（「価値観の調整（value alignment）」と呼ばれる）。これには価値観を明示的に指定するやり方と、人間の価値観を学ぶ AI を作るやり方の二つがある。前者は現在もある程度可能だが、ハッキング被害を受けやすいという欠点がある。後者は実現に何年もかかるし（それが何年かは AI 研究者の間でも意見が分かれる）、誰の価値観を反映すべきかという問題もある。

SFから現実まで

AI が解決策の最適化に着手し、新しい解決策をハックするには、環境のすべてのルールをコンピュータが理解できるように形式化する必要がある。AI では目的関数と呼ばれる目標を設定する必要があるし、どれくらいうまくいっているかフィードバックが必要で、それによりパフォーマンスを向上させられる。

囲碁のような、ルールも目的もフィードバックもすべて正確に指定されるゲームは簡単だ。しかし、システムに曖昧さがあると問題になる。世界中の税法を AI にインプットすると考えると、確かに税法は税額を決定する計算式で構成されるが、その中には曖昧な部分が存在する。その曖昧さをコード化するのは難しいので、AI では対応できなくて、当分の間税理士の仕事は安泰だ。人間のシステムの多くはもっと曖昧である。現実のスポーツのハックを AI に任せるのは、不可能ではないが SF の領域である。曖昧さは AI のハッキングに対する短期的なセキュリティの防御策となるわけだ。

AI によるハッキングの対象としては、ルールがアルゴリズムで処理できるよう設計されている金融システムが筆頭候補になる。世界中の金融情報をリアルタイムで入手し、世界中の法律や規制やニュースフィードなど、関連性があると思われる情報を AI に学習させ、「合法的に最大の利益を得る」という目標を与えるのが考えられる。これは遠い未来の話ではないし、その結果斬新な、人知を超えたハックが生まれるだろう。

1950年代以降、二つの種類の AI が生まれた。初期の AI 研究は「シンボリックAI」と呼ばれ、人間の理解をシミュレートすることを目的としたが、これは非常に難しく、その数十年で実用的な進歩はあまり見られなかった。もう一つは「ニューラルネットワーク」で、これも歴史は古いが、計算機やデータの飛躍的な進歩により、ここ10年で一気に普及した。ニューラルネットワークは言語を「理解」したり、実際に「思考」したりはしない。基本的に過去に「学んだ」ことに基づいて予測を行う、高度な統計的オウム返しのようなものだ。その達成は驚くべきことだが、できないこともたくさんあり、この文章に書かれることの多くもその範疇に入るだろう。が、AI の進歩は不連続で直感に反するもので、ブレイクスルーが起こるまでは分からないものだ。

つまり、AI ハッカーで埋め尽くされた世界は現時点ではまだ SF だが、はるか彼方の銀河系の話ではない。我々は、強制力のある、理解しやすい、倫理的な解決策を考え始めなければならない。

AIハッカーの意味

ハッキングは人類と同じくらい古いものだ。我々は創造的に問題を解決し、抜け穴を利用し、自らの利益のためのシステムを操作する。そうしてより多くの影響力、より多くの権力、より多くの富を求めるが、それでも制約なしに利益を最大化する人間はいない。人間的な資質がハッキングにブレーキをかけるのだ。

ハッキングは、あらゆるものがコンピュータ化されるにつれて進化した。コンピューターはその複雑さゆえにハッキングが可能になる。そして今では、車も家電も電話もあらゆるものがコンピュータだ。金融、税制、法令順守、選挙など社会システムのすべてがコンピュータとネットワーク前提となり、あらゆるものがハッキングされやすくなっている。

これまでハッキングは人間が行うもので、専門知識、時間、創造性、運が必要だったが、AI がハッキングをするようになればそれも変わる。AI には人間のような制約も限界はない。

ハッキングに対応する社会システムはあるが、それはハッカーが人間だった頃に開発されたものであり、人間のハッカーの速度を反映している。新たに何百、何千もの税金の抜け穴が発見されたとして、それに対応できるようなシステムはない。Facebook で民主主義をハッキングした人間にも対処できなかったのに、AI がコンピュータの速度でハッキングしたらもはや制御できない。

速度だけでなく、規模の問題も同様だ。その前兆はあり、DoNotPay は駐車違反の取り締まりを自動化する AI を利用する無料サービスだが、このサービスは航空便の遅延に対する補償を受けたり、サブスクリプションをキャンセルするなど他の分野にも拡大している。

AI システムの範囲が広がることで、ハッキングの危険性も高まる。生活に影響を与えるような重要な判断は、これまで人間が独占的に行うものだったが、既に一部 AI が行っている。AI システムの能力が向上すれば、社会はより多くの、より重要な決定を AI に委ねるようになろう。そして、そうなったシステムのハッキングは、大きな被害をもたらすだろう。

AIのハックと権力

このエッセイで紹介されているハッキングは、権力者が我々に対して行うものであり、我々のではなく権力者の利益のためにプログラムされているのを忘れてはいけない（例：Amazon のアレクサ）。ハッキングは主に既存の権力構造を強化するものだが、AI はその力学をさらに強化するだろう。

一つ例を紹介すると、ソニーが1999年から販売しているロボット犬 AIBO がある。2005年までは毎年改良された新型が発売されていたが、その後数年間で旧型 AIBO のサポートは徐々に終了していった。AIBO は原始的なコンピュータに分類されるが、所有者は AIBO に感情移入できた。日本では「死んだ」AIBO のお葬式が行われていたほどだ。

2018年、ソニーは新世代の AIBO の販売を開始した。興味深いのは、クラウドデータストレージを必要とするようになったことだ。つまり、これまでのAIBOとは異なり、ソニーは遠隔操作で AIBO を改造したり「殺す」ことが可能になった。クラウドストレージは最初の3年間は無料で、その後の料金は発表されていない。3年後、所有する AIBO に感情移入するようになったオーナーから多くの料金を請求できることだろう。

AIハッカーに対する防御

AI が新たなソフトウェアの脆弱性を発見できるようになれば、政府にも犯罪者にも趣味でハッキングを行う人にも信じられないほどの恩恵をもたらす。その脆弱性を利用して世界中のコンピュータネットワークをハッキングできるからだが、それは我々皆を危険にさらすことにもなる。しかし、同じ技術が防御にも役立つとも言える。長い目で見れば、ソフトウェアの脆弱性を発見する AI 技術は防御側に有利に働く。そしてそれは、より広範な社会システムのハッキングについても同様である。

しかし、そうした一般的なケースで防御を確実にするには、ハッキングに迅速かつ効果的に対応できる弾力性のある統治構造を構築する必要がある。社会のルールや法律も、パソコンや携帯電話をアップデートする頻度でパッチを当てられるものでなければなならない。これは難しい問題であり、本稿の範囲をはるかに超えるものだ。

最大の解決策は「人」である。ここまで説明してきたのは、人間とコンピューターのシステムの相互作用、並びにコンピューターが人間の役割を果たすことに内在するリスクである。テクノロジーに未来を託すのは簡単だが、未来におけるテクノロジーの役割を社会で決める方がずっと良い。AI が世界をハッキングし始める前に、我々はこの問題を解決しなければならない。

以上がブルース・シュナイアー先生の文章のワタシなりのまとめだが、できれば原文を読んでほしい。むちゃんこ長いけど。

個人的には納得できないところもある。例えば、AIBO を引き合いに出しているところはワタシははっきり不満で、もっと適した例がいくらでもあるだろうに、と正直まとめからバッサリ削除しようかとも思ったくらい。また前半かなり煽っておいて、最後のあたりでこっそり風呂敷をたたんでいる気配があるのもどうかと思った。それでもこれは読むべき論考だと思うわけです。

そういえばロボット倫理学者ケイト・ダーリングの新刊 The New Breed が文中引き合いに出されているが、当のブルース・シュナイアー先生だけでなく、ローレンス・レッシグやティム・オライリーも推薦の言葉を寄せており、邦訳が期待される。