AIセキュリティ研究の焦点は、モデル単体の安全性から、計画立案、ツール利用、記憶保持、マルチエージェント協調といった機能を備えるシステム全体の安全性へと移りつつある。LLMが有害な文章を生成しないことだけでは十分ではない。エージェントが計画を立案し、外部ツールを呼び出し、記憶を参照しながら目標や行動方針を適応的に更新する過程において、偶発的または意図的な外部操作を受けうるかどうかが、重要な研究課題となっている。
スタンフォード大学の研究者らが開発したCybenchは、ハッカー向け技能競技であるCTF（Capture The Flag）を用いて、フロンティアAIモデルのサイバー能力を評価するベンチマークとして広く参照されてきた。しかし近年では、最難関の課題でさえ解決可能なモデルが現れ、能力評価指標としての飽和が指摘されている。さらに、最新のフロンティアAIが、長年見逃されてきたLinuxカーネルの脆弱性を発見するなど、一部の領域では人間の専門家に匹敵し、あるいはそれを上回るサイバー能力を示し始めている。
本講演では、こうした能力をシステム防御にどのように活用できるかという観点から、AIエージェントによる脆弱性発見、攻撃経路分析、監視、インシデント対応、自己防御などに関する萌芽的研究を概観する。そのうえで、攻撃能力の高度化と防御能力の強化をいかに両立させるべきかを検討し、今後のAIセキュリティ研究の方向性を探る。