エージェント型AIは、情報を提示するだけでなく、目的に応じて計画を立て、企業データや外部ツールを利用しながら、複数のタスクを実行できるようになりつつあります。その一方で、AIエージェントに与える権限が広がるほど、意図しない動作、情報への不適切なアクセス、責任の所在、説明可能性など、新たなリスクへの対応が重要になります。
本記事は、TCSがグローバルで公開した「Make agentic AI enterprise-ready through strong governance」をもとに、日本語版として構成したものです。エージェント型AIの本格導入に必要となるガバナンスの構成要素、技術的なガードレール、人による監督、組織体制、データガバナンス、導入時の指針について解説します。
さらに、日本企業がガバナンスの原則を実際の業務運用へ落とし込む際の参考となるよう、日本TCSのAI専門家による解説を加えました。組織内の責任分担、全社で共通利用できる統制基盤、人とAIエージェントの役割分担という3つの視点から、ガバナンスを実効性のある仕組みとして機能させる方法を考察します。
目次
目次inpage
エージェント型AIがもたらす機会と課題
エージェント型AIは、自律的に意思決定を行い、タスクを実行できるシステムです。この自律性は企業に大きな可能性をもたらす一方で、従来のAIとは異なる課題ももたらします（図1）。
エージェント型AIの導入における主な課題は、次のとおりです。
- システムが複雑であり、その設計・運用に高度な技術的知識が必要になる
- AIエージェントの自律的な動作を、組織の目標や方針に沿ったものにする必要がある
- 自律的な意思決定によって、セキュリティやデータプライバシーに関するリスクが高まる
- 複数の企業システムや分散したデータとの連携が複雑になる
- 専門人材、インフラ、運用体制などへの相応の投資が必要になる
- 規制やコンプライアンス要件が変化しており、継続的な対応が求められる
これらの課題に対応するには、システムの複雑性とリスクを管理し、AIエージェントの動作を組織の目標に沿ったものにするガバナンスが欠かせません。
また、EUのAI法（European Union Artificial Intelligence Act）をはじめとする規制では、責任あるAIの利用に関する基準が定められています。
Figure 1: Challenges in adopting agentic AI
Figure 1: Challenges in adopting agentic AI
日本のAI専門家の視点
原則から実務で機能するガバナンスへ
日本で事業を展開する企業にとって、現在の課題は、責任あるAIの原則が存在するかどうかではありません。AIシステムが計画を立て、ツールを利用し、企業内のナレッジへアクセスし、複数の工程を実行する状況でも機能し続ける統制へと、その原則を落とし込めるかどうかにあります。
日本のAI政策は、イノベーションと信頼の両立をますます重視する方向に進んでいます。経済産業省と総務省による「AI事業者ガイドライン」はAI開発者、AI提供者、AI利用者が取り組むべき事項を示しています。また、「第Ⅱ期人工知能基本計画」では、制度、技術、組織全体のマネジメントを統合した「責任あるアジャイル・ガバナンス」が掲げられています。
AIエージェントが組織やテクノロジーの境界を越えて動作すると、責任の所在が曖昧になりがちです。一つのビジネス成果に、基盤モデル、情報検索の仕組み、企業データ、外部ツール、ワークフローエンジン、人による承認など複数の要因が関与するためです。
そのため、重要なAIエージェントとユースケースには次の事項を定める必要があります。
- 事業上の責任者
- 利用目的と適用範囲
- 利用を承認されたデータとツール
- 人が介入または承認する条件
- 問題発生時のエスカレーション先
- インシデントや想定外の結果を検証するための記録
運用ガバナンスは、AIエージェントとともに働く人にとって理解しやすいものでなければなりません。統制は、AIエージェントが自らの役割をどう説明するか、提案の根拠や不確実性をどう示すか、どの段階で承認を求めるか、エスカレーションやオーバーライド（人による判断の上書き）をどのように可能にするかといった点を反映する必要があります。
つまり、人とAIエージェントのやり取りは、実際の業務フロー、利用者の責任、定着に向けたニーズを踏まえて設計する必要があります。
ガバナンスは、リスクに応じて設計します。実際の運用を監視し、そこから得た知見を統制へ反映しながら適用範囲を段階的に広げていくことが重要です。
エージェント型AIガバナンスを構成する6つの要素
企業でエージェント型AIを本格的に利用するには、ガバナンスを次の6つの要素で構成する必要があります（図2）。
- ガバナンスフレームワーク
倫理上・法的な境界と、法令・社内規定への適合要件を定めます。 - 技術的なガードレール
人による監督、継続的なモニタリング、監査、ガーディアンエージェントなどによって、AIエージェントの動作を統制します。 - 部門横断の連携
事業、IT、データ、セキュリティ、法務、コンプライアンスなどの役割と責任を明確にし、必要な意思決定体制を整えます。 - データガバナンス
データの品質、セキュリティ、プライバシー、法令・社内規定への適合を確保します。 - AIリテラシーとチェンジマネジメント
AIを利用・監督するための知識を育成し、業務への定着と信頼の醸成を支えます。 - 規制対応
継続的なモニタリング、フィードバック、インシデント対応を通じて、規制や運用環境の変化に対応します。
これらを組み合わせることで、ポリシー、統制、組織・人材、コンプライアンスを一つの運用体系として機能させることができます。
Figure 2: Key elements for agentic AI governance
Figure 2: Key elements for agentic AI governance
ガバナンスフレームワーク
エージェント型AIのガバナンスフレームワークは、AIの利用における倫理上の境界と、法令・社内規定への適合要件を定めるものです。倫理原則は、責任あるAIの判断と動作を導きます。また、EUのAI法や一般データ保護規則（GDPR: General Data Protection Regulation）など、適用される法規制に対応することで、AIの利用とデータ保護への取り組みを強化します。
ガバナンスを実際の運用で機能させるには、方針を、AIシステムや関連する技術基盤で適用・検証できるルールへ落とし込む必要があります。
リスク評価では、バイアス、セキュリティ上の脆弱性、想定外の影響などを早期に特定します。そのうえで、発生可能性と影響度を評価し、リスクの水準に応じた対策を講じます。
さらに、AIエージェントを登録・管理する仕組みを整えることで、複数プロジェクトにおける導入状況、利用状況、リスクを一元的に把握できるようになります。
日本のAI専門家の視点
全社共通の統制基盤で、ガバナンスを実行可能にする
ガバナンスを実際の運用で機能させるには、定期的なレビューだけでなく、全社で共通利用できる統制基盤、いわゆるコントロールレイヤーへ組み込むことが重要です。
AIプロジェクトごとに、ID管理、ポリシー、ログ、モデルへのアクセス、回答の根拠付け、コスト管理などを個別に構築するのではなく、アプリケーションやAIエージェントが継承できる共通機能として整備します。
この共通基盤には、主に次の機能が求められます。
- 承認済みのモデルやツールへ安全に接続するための経路
- 最小権限に基づくアクセス管理
- AIエージェントとアプリケーションの登録・管理
- ポリシーの適用
- 入出力の記録と追跡
- 例外や異常のモニタリング
- 部門・用途ごとの利用量とコストの把握
- 新しいユースケースを管理された形で導入する仕組み
特定のモデルに依存しないモデルアグノスティックな設計を採用することで、アプリケーション、企業のナレッジ、モデル、業務ワークフローを、共通のアクセス管理、安全性、可観測性、コスト管理のもとで連携させることができます。
ただし、共通の統制機能を用意するだけでは十分ではありません。実際に価値を生み出すには、人がどのように判断し、業務を進めるかに合わせて、統制を利用者の体験へ落とし込む必要があります。
体験設計や行動設計によって、役割ごとに必要な情報、操作の流れ、承認手順、説明の示し方、問題発生時の復旧手順を設計します。これにより、ガバナンスは利用者にとって、明確な選択肢、適切な制限、理解しやすいフィードバックとして機能します。
目的は、個別に進められてきたAI投資を、適切に統制された全社的な能力へと発展させることです。これにより、統制に関する重複作業を減らし、実験から本番運用へ移行するための再現可能な仕組みを構築することができます。
技術的なガードレールと監督体制
エージェント型AIのガバナンスを確立するうえで重要なのが、ヒューマン・イン・ザ・ループ、継続的なモニタリング、自律性の制御と説明可能性を支える技術的な仕組みを導入することです。
ヒューマン・イン・ザ・ループ
- ヒューマン・イン・ザ・ループ（Human-in-the-Loop：HITL）システムにより、AIが関与する重要な意思決定に人による確認を組み込み、安全性と信頼性を高めます
- 高リスクの用途では、人がAIエージェント処理を停止、却下、変更できるガードレールを設けることで、エラーの発生防止につなげます
日本のAI専門家の視点
AIエージェントの自律性を段階的に高める
人による監督は、すべての処理に同じ承認手順を追加するのではなく、業務のリスクとAIエージェントの権限に応じた運用モデルとして設計すべきです。
企業はまず、信頼できる情報を検索し、取るべき行動を提案するAIエージェントから始めます。次に、低リスクのタスクについて、あらかじめ定めた範囲内での実行を認めます。運用結果によって安全性と有効性を確認できた場合に、より広い権限を与えます。
目指すべきは、自律性の最大化ではありません。業務ごとに、AIエージェントの自律性、人による判断、ビジネス価値、リスクの適切なバランスを取ることです。
AIエージェントの操作は、リスクに応じて次のように分類できます。
- 実行前に、必ず人の承認を必要とする操作
- 通常は自動実行し、例外が発生した場合のみ人が確認する操作
- 定められた範囲内で自動化できる低リスクの操作
人が介入する仕組みを設計する際は、次の事項を明確にします。
- AIエージェントを停止したり、判断を変更したりできる担当者
- 確認担当者へ提示する根拠と情報
- 解決できない例外のエスカレーション先
- 実際の運用から得られた知見を、今後の統制へ反映する方法
人による介入ポイントが有効に機能するには、確認担当者が、AIエージェントの提案内容、介入が必要な理由、提案を裏付ける情報、承認または却下した後に実行される処理を理解できる必要があります。
こうした仕組みは、全社展開の前に、実際の業務を代表するワークフローで検証することが重要です。これにより、統制、人への引き継ぎ、責任分担が実務で機能するかを評価できます。
モニタリング
- モニタリングツールによって、AIの意思決定、入力、出力を継続的に追跡し、透明性と監査可能性を確保します。
- AIエージェントが他のAIシステムを監視することで、異常やポリシーからの逸脱を効果的に検知します。
- モニタリング結果を統制の改善へ反映し、責任ある意思決定を継続的に支えます。
自律性の制御と説明可能性
- AIエージェントの自律性を制限することで、意図しない、または有害な動作のリスクを低減し、より安全な運用を実現します。
- SHAP（SHapley Additive exPlanations）やLIME（Local Interpretable Model-agnostic Explanations）など、AIの意思決定の根拠を説明できるモデルを活用することで、AIシステムに対する信頼性と説明責任を高めます
これらの仕組みを組み合わせることで、企業規模でAIを安全に運用できるようになります。
ガバナンスを支える運用体制
効果的なガバナンスの実現するため、エンタープライズAIオフィスの設置が推奨されます（図3）。
エンタープライズAIオフィスは、AIエグゼクティブステアリングコミッティおよびリーダー層によって統括されます。その配下には、AI統制オフィス、設計オフィス、コンプライアンスオフィス、責任あるAIオフィスが設置され、それぞれガバナンス機能を担います。
これらのガバナンス機能に加え、標準作業手順書（SOP）、ガイドライン、ツール群、AIリテラシー、業界パートナーシップなど、AI活用を支える中核的な基盤を整備します。
運用機能は、プラットフォームの有効化、オーケストレーション（DataOps、MLOps、LLMOps）、ファインチューニング、技術検証（PoT）やパイロットによる検証などを担い、AI活用を推進します。
重要なのは、意思決定を行う担当者、監督責任、部門間の連携、問題発生時の対応経路を明確にすることです。
主な役割
- エグゼクティブステアリングコミッティとリーダー層：プログラムを主導し、人材、プロセス、インフラストラクチャへの投資判断を行います。
- AI統制オフィス：AIのアイデアについて、概念実証（PoC）、MVP（Minimum Viable Product：実用最小限の製品）、本番運用の各段階への移行可否を評価・承認します。また、AI資産の棚卸しとリスクレビューを定期的に行います。
- 責任あるAIオフィス：組織の責任あるAI原則、業界で広く認知されているフレームワーク、規制に沿った実践方針を定めます。
- コンプライアンスオフィス：規制遵守を確保するとともに、規制の更新状況を継続的に把握します。
- 設計オフィス：重要な設計内容をレビューし、ベストプラクティスと情報セキュリティ基準への準拠を確認したうえで、変更を承認します
Figure 3: Enterprise AI office structure
Figure 3: Enterprise AI office structure
信頼を支えるデータガバナンスと継続的改善
エージェント型AIが業務に定着するには、利用者からの信頼が欠かせません。信頼は、責任ある導入、適切なガバナンス、AIリテラシーの向上、継続的な改善を通じて築かれます。
信頼を支える重要な基盤の一つが、強固なデータガバナンスです。データガバナンスによって、AIシステムが利用するデータの完全性、公平性、法令・社内規定への適合を確保します。
エージェント型AIにおけるデータガバナンスは、「データ品質」「データ保護」「データバイアス管理」「規制遵守」の4つの主要な柱によって支えられています（図4）。
データ品質を厳格にチェックすることで、AIエージェントが利用するデータの正確性と信頼性を確保します。暗号化、アクセス制御、匿名化といったデータ保護対策を講じ、機密情報を保護します。
また、学習データに含まれるバイアスへ適切に対処することで、不公平な結果や特定の個人・集団に不利益を及ぼす結果が生じるリスクを抑えます。さらに、規制を遵守し、世界各国・地域のデータ保護基準に適合した運用を確保します。
加えて、AIリテラシープログラムとチェンジマネジメントを通じて、AI戦略の不明確さ、人材・組織の準備不足、意思決定の透明性欠如といった課題に対処します。
モニタリング、利用者からのフィードバック、インシデント対応、規制動向の継続的な把握を通じて、得られた知見を運用方法と統制の改善へ反映することも重要です。
Figure 4: Data governance in agentic AI
Figure 4: Data governance in agentic AI
導入に向けたガイドライン
エージェント型AIのガバナンスを成功させるためには、セキュリティ、プライバシー、モニタリングに関する統制を実際のシステムと運用プロセスに組み込むことが重要です。
基本方針として、AIエージェントにはまず読み取りを中心とした権限を与え、書き込みや変更操作は必要最小限に制限する「read first, write rarely」の考え方が有効です。
データ定義言語（DDL）による無制限の操作、テナントをまたぐアクセス、個人を特定できる情報（PII）への直接アクセスなど、高リスクな操作を制限します。
また、最小権限の原則に基づき、ロールベースおよび属性ベースのアクセス制御を組み合わせます。多層型のセキュリティモデルには、主に次の要素が含まれます。
- 認証とロールの検証
- ポリシーに基づくツールへのアクセス管理
- 実行環境の分離
- 監査可能性の確保とエージェントレジストリのガバナンス
これらの統制によって、AIエージェントの開発、検証、導入、変更、停止に至るライフサイクル全体を可視化し、エージェント型AIを安全かつコンプライアンスに準拠した形で拡張・展開できるようになります。
お問合せ
お問合せ