AI がハッカーになり人間社会を攻撃する話は以前からブルース・シュナイアー先生が書いており、というか書籍『ハッキング思考 強者はいかにしてルールを歪めるのか、それを正すにはどうしたらいいのか』の主要テーマの一つでもあった。
一方で、AI はサイバーセキュリティの「攻撃」だけでなく「防御」にも使えるのだから、そんな悪いことじゃないよという楽観的な意見もあるのだけど、今年の Black Hat USA カンファレンスの取材によると、大規模言語モデルと AI エージェントは、攻撃するのがあまりにも容易で、この四半世紀のセキュリティ界隈でつちかってきた教訓の多くが、AI 分野の開発や利益追求の急激な進展の中で忘れ去られてしまっていると警鐘が鳴らされている。
この記事では、Black Hat で披露されたプロンプトインジェクションなどの手法が紹介されているが、生成 AI の分野はセキュリティ上の悪習（bad practices）で満ちており、古い脆弱性が表面化し、アタックサーフェスが大きくなり、結果ないはずの穴が露見してしまうという指摘には頭を抱えたくなる。
AI エージェントを高度に洗練された超知能システムとみるのは間違いで、現実は酔っぱらったロボットみたいなものだ、というコメントには笑ってしまった。
ちょうど「カレンダー招待でスマートホーム機器を乗っ取り。研究者がグーグルのAI「Gemini」の脆弱性を実証」というニュースがあったが、これから AI をハッキングして「現実世界での混乱を引き起こす実演」が他でも披露されるのでしょうな。
ネタ元は Slashdot。
