AIエージェントの不審な挙動を改善するための安全性・信頼性に関する研究を東北大学言語AI研究センターと株式会社Acompanyが共同で開始

　東北大学言語AI研究センター（宮城県仙台市、以下東北大学言語AI研究センター）と株式会社Acompany（愛知県名古屋市、以下Acompany）は、AIエージェントの安全性・信頼性向上を目的とした共同研究の開始を発表した。

近年、AIエージェントに外部ツールや各種システムへのアクセス権限を与え、複雑な業務を自動化する利用が広がる一方、自律的に情報を探索・判断する仕組みには、従来の機械学習や生成AIとは異なる脅威も生じている。東北大学言語AI研究センターとAcompanyの両者は、自然言語処理・機械学習とAIセキュリティ・プライバシーの知見を組み合わせ、脅威の発生条件や影響を明らかにするとともに、安全なAIエージェントを実現するための対策技術の確立を目指す。

AIエージェントは、Webページや文書、メール、外部ツールなどから情報を取得しながら、自律的に探索や評価を繰り返して目的の達成を目指す。その一方、取得した情報に悪意のある指示が含まれていた場合、意図しない行動へ誘導されたり、与えられた権限や元々設定された制約を逸脱する可能性がある。さらに、利用環境や接続可能なツールは継続的に変化するため、特定の脅威だけを想定した固定的な対策では安全性や信頼性を維持できないことも課題となる。

こうしたAIエージェント固有のリスクに対応するため、本研究では東北大学言語AI研究センターの自然言語処理・機械学習に関する研究力と、Acompanyが培ってきたAIセキュリティおよびプライバシー分野の知見を組み合わせて、AIエージェントへの脅威の理解と対策技術の確立を目指す。悪意のあるアーティファクトによる不適切な挙動が引き起こされる条件や影響を分析するとともに、安全性・信頼性を高めるモデルやハーネスの構成方法、脅威を検知する技術、影響を抑える仕組みなどを検討する。

Acompanyは、AIを安全な実行環境で動かすだけでは、AI自身が攻撃や悪意ある情報の影響を受けるリスクまでは防げないとしている。本研究を通じて「秘密を守れるAI」を実現するための「振る舞いの信頼性」を損なう脅威と成立条件を整理し、その対策技術を確立することと社会実装につなげることを目指す方針である。