AIエージェントの“乗っ取り”に対するセキュリティ対策の考え方

2025年6月、Microsoft 365 Copilotにおいて、細工したメールを受け取るだけで社内データが外部に流出し得る脆弱性「EchoLeak」が報じられた¹。その仕組みには、間接プロンプトインジェクションが用いられていた。すでに修正済みであり、実際の悪用は確認されていないとされるが、利用者が何も操作しなくても被害が生じ得ることを示した。

同年12月、OWASP²はエージェント型AIのリスク一覧を公表し、その先頭に「エージェント目標の乗っ取り（Agent Goal Hijack）」を置いた。同月、英国の国家サイバーセキュリティセンター（NCSC）は、プロンプトインジェクションを完全に防ぐことは難しい可能性があると指摘した。その背景には、大規模言語モデル（LLM）が命令とデータを明確に区別することが難しいという特性がある。その上で、発生可能性と影響を低減する設計を求めている。［NCSC公表資料］

AIエージェントに業務を任せる際の課題を検討するため、実害が報告されたインシデント事例をリスク別に分析した。

OECDのAIインシデント情報データベース「AIM」³に掲載された、2025年から2026年7月までのAIエージェント関連の事例から、実害が報告された45事例を選定した。各事例をAISI（AIセーフティ・インスティテュート）の16のリスク項目⁴に対応付け、本稿のために調査・集計した。複数の項目に該当する事例は重複計上している。

集計の結果、「プロンプトインジェクション」と「性能評価の不正確性」が各15件で最も多く、「安定性の欠如」と「予測不可能性」が各11件で続いた（図表1）。

集計では、外部からの攻撃に関するリスクと、性能や動作の信頼性に関するリスクが、ともに上位を占めている。AISIが示す「性能評価の不正確性」は、実際の利用環境に即した評価が不足し、期待した効果が得られない、あるいは想定外の挙動が生じるリスクを指す。「安定性の欠如」や「予測不可能性」も多く見られることから、試験で確認した性能が実際の業務でも発揮されるかは、業務を任せる範囲を判断する上での重要な論点といえる。

また、「保護対策の回避」と「ツールの誤用」は各9件、「権限の奪取」は6件確認された。これらのリスクによる影響は、AIエージェントに認める操作の範囲によっても変わる。例えば、同じ誤判断でも、その結果を回答案として提示する場合と、顧客データの外部送信や基幹システムの更新まで実行する場合とでは、想定される被害の範囲が異なる。したがって、対策の優先度を検討する際には、件数に加え、付与された権限で実行可能な操作と、その影響範囲を分析する必要がある。なお、本集計は選定事例の傾向を示すものであり、社会全体の発生率や被害規模、リスク間の因果関係を示すものではない。

以下に分析に関わる5つのリスクについて、AISI「AIセーフティに関する評価観点ガイド（第1.20版）」付録A.3、表2に基づき、その内容を整理した（図表2）。

以上の分析から、企業がAIエージェントに業務を任せる際には、次の3点が課題となる。

第1は、実際の利用条件を踏まえて、業務を任せる範囲を判断することである。実際に扱うデータや接続するツールを用いて、例外的な入力や処理の失敗時の動作も検証する必要がある。その結果を踏まえ、提案にとどめる業務、人の承認を要する操作、自律実行を認める範囲を判断することが求められる。

第2は、誤判断や乗っ取りによる被害を限定することである。「保護対策の回避」も確認されていることから、禁止事項をAIに指示するだけでなく、操作を制限する仕組み自体の有効性が問われる。重要な操作については、AI自身が権限設定を変更したり、承認を省略したりできない仕組みが必要となる。承認の対象を検討する際には、操作の取り消しが可能か、影響がどこまで及ぶかに加え、人による確認の負担も考慮することが求められる。

第3は、利用範囲の拡大に応じて、業務を任せる条件を見直すことである。同じモデルを利用していても、接続先や権限を追加すれば、実行できる操作と被害の範囲が変わる。そのため、導入時の評価に加え、こうした変更を踏まえた再検証が必要となる。また、運用中に想定外の操作が確認された場合には、人の承認を要する運用への切り替えや停止を判断し、その知見を以後の利用条件に反映することが重要となる。

これらの課題は、AIエージェントの活用による便益と、問題が起きた場合に許容できる損失を踏まえ、どこまで業務を任せるかを組織として判断する必要性を示している。第2章では、この判断に関わる視点を、業務委任のライフサイクルに沿って整理する。次節では、その背景となる国内外の統制・ルール形成の動きを確認する。

国内では、2026年1月にIPAが公表した「情報セキュリティ10大脅威 2026」の組織編で、「AIの利用をめぐるサイバーリスク」が初めて選出され、3位に入った⁸。

同年5月には、オーストラリアのASD傘下のACSC、米国のCISAとNSA、カナダのサイバーセキュリティセンター、ニュージーランドと英国のNCSCという5か国のサイバーセキュリティ当局が、エージェント型AIに関する共同ガイダンス「Careful Adoption of Agentic AI Services」を公表した。同ガイダンスでは、最小権限や、影響の大きい操作に対する人による承認を求めている。9月には経済産業省が利用企業向けのサブワーキンググループを開催した。

他方、現場の統制は追いついていない可能性がある。2026年10月に公表されたWorkatoの調査⁹では、米国のIT意思決定者1,001人の62％が、自社で利用中のAIエージェントの多くはIT部門の正式な承認を得ていないと回答した。また、AIエージェントが重大なセキュリティまたはコンプライアンス上の事故を起こした場合、36％が、自社は公表せずに処理しようとすると回答している。本調査は米国の従業員1,000人以上の企業を対象としたベンダー調査である点に留意が必要だが、同月に公表されたIPA「AIセキュリティ短信」¹⁰でも、AIエージェントが情報漏えいの経路になっていることが指摘されている。以下では、これらの動きを時系列で整理する（図表3）。

本章で示した動向を総括すると、4つの問題意識が浮かび上がる。1つ目は、防ぎきれないことを前提とした統制が、多くの組織でまだ十分に確立されていないと考えられることである。2つ目は、AIエージェントにどこまで業務を任せるかを決める主体が曖昧なことである。3つ目は、指針の確定を待たずに導入が進むという時間差である。4つ目は、事故時の説明責任と情報共有の仕組みが整っていないことである。

第1に、エージェント委任方針の策定である。業務や操作を、取り消し可能か、外部に影響が及ぶか、機密情報を扱うかといった観点から分類する。その上で、「提案のみ」「承認を経て実行」「自律実行」といった段階と掛け合わせた基準を設け、経営層が承認する。責任者と見直しの周期を定めることも求められる。

第2に、権限の最小化と承認ゲートの設計である。NCSCが示すように、権限は処理する入力のうち最も信頼度の低いものに見合う水準まで絞ることが重要になる。ただし、承認者の負担が過大になれば、確認が形骸化しかねない。人の行動まで含めた設計が必要である。

第3に、利用しているAIエージェントやその権限、利用部門などを管理する「エージェント台帳」の整備と継続的な検証である。承認外の利用も含めて部門横断で棚卸しを行い、記録の範囲と異常検知の基準を整える。また、レッドチーミング(攻撃者の視点で弱点を探す試験)を定期的に行い、その結果を委任方針の見直しにつなげる。

第4に、停止手順と開示方針の事前整備である。停止の権限者、停止中の代替業務、保全すべき記録、情報開示の判断基準を定めておく。それらが実際に機能するかを、経営層・広報・法務・現場が参加する机上演習を通じて確かめておくことが望ましい。

第5に、官民で学び続ける「リビング・ガバナンス」の仕組みづくりである。指針を1度策定して終わりにせず、事故やヒヤリハットの情報を共有し、改訂に生かす循環を設計する。報告した組織が不利益を受けにくい動機づけも論点となるだろう。あわせて、委任方針の雛形や点検項目を、中小企業や自治体が実行できる形で広げることが求められる。

本章で示したアプローチを総括すると、技術対策を否定するのではなく、経営判断と社会の仕組みの中に位置づけ直すことが要点といえる。