服务
人工智能
依托AI优先战略与代理式人工智能（Agentic AI），打造更智能、更互联的明天
要点
- 代理式人工智能（Agentic AI）因自主决策带来的风险、安全与隐私隐患、数据集成障碍、资源密集型特性以及不断演变的监管要求，需要坚实的治理基础。
- 包含六大核心支柱的统一治理模型——治理框架、技术护栏、跨职能协作、数据治理、AI素养与合规管理——为负责任地扩展Agentic AI提供了所需的结构骨架。
- 持续监控、反馈循环与变更管理实践能确保治理保持适应性，使企业能够在风险、法规和运营条件变化时，负责任地演进人工智能系统。
关键原则与挑战
Agentic AI应用是能够自主决策并执行行动的系统。这种自主性在创造巨大机遇的同时，也为组织带来了新的挑战（见图1）。
Agentic AI采纳中的关键挑战包括：
- 系统复杂性高，需要深厚的技术理解
- 难以使自主行为与组织目标对齐
- 独立决策带来更高的安全与数据隐私风险
- 由于企业系统多样化导致的数据集成障碍
- 在技能、基础设施和资源方面需要大量投资
- 由于合规要求不断演变导致的监管不确定性
这些挑战表明，治理并非可选项，而是管理复杂性、风险以及与组织目标对齐的关键。此外，欧盟《人工智能法案》等监管框架已为负责任AI设定了标准。
图1：采纳Agentic AI的六大挑战
图1：采纳Agentic AI的六大挑战
关键构成
为实现企业级控制，Agentic AI的治理应包括六个关键要素（参见图2）：
- 治理框架，以定义道德和法律边界
- 技术护栏，如人在回路中的监督、监控、审计和守护代理
- 跨职能协作，以定义角色、职责和治理委员会
- 数据治理，以确保数据质量、安全、隐私和合规
- 人工智能素养计划，以支持变革管理并建立对人工智能的信任
- 监管合规，通过监控、反馈循环和事件响应来实现
这些要素共同将策略、控制措施、人员和合规统一为单一的操作规程。
图2：Agentic AI治理的关键要素
图2：Agentic AI治理的关键要素
治理框架
AI的治理框架定义了道德边界和合规期望。道德原则指导负责任的人工智能行为，而遵守欧盟《人工智能法案》和《通用数据保护条例》等法规则强化了对数据保护的承诺。
当人工智能系统能够自主解释和遵循的格式时，治理就会变得可执行，从而确保行为的一致性和合规性。风险评估框架能尽早识别偏见、安全漏洞和意外后果等问题。结构化的评估方法评估已识别风险的严重性和可能性，从而能够制定有针对性的缓解策略。通过对所有Agent进行注册，建立集中控制，从而实时了解各项目的部署、使用和风险情况。
技术护栏与监督
建立治理的一个关键组成部分是实施技术护栏和监督机制，以确保人在回路中、监控能力与可解释性。
人在回路中（Human-in-the-loop）
- HITL系统确保AI驱动的关键决策有人工监督，以增强安全性和可靠性。
- 允许在高风险AI应用中进行人工干预的护栏有助于防止错误。
监控
- 工具持续追踪AI的决策、输入与输出，确保透明度与可审计性。
- Agent 监督其他人工智能系统，以有效检测异常情况和策略偏差。
- 监督机制实现对AI的持续监控与控制，支持负责任决策。
可解释性
- 限制Agent的自主性可减少意外或有害行为的风险，从而更安全地运行。
- 使用SHAP（SHapley Additive exPlanations）和LIME（Local Interpretable Model-agnostic Explanations）等模型解释决策，提升AI系统的可信与问责性。
这些机制共同确保企业级人工智能行为的安全性。
运营模型
建议设立企业人工智能办公室以实现有效治理（参见图3）。该办公室将设有人工智能执行指导委员会和领导层。它将通过控制办公室、设计办公室、合规办公室和负责任的人工智能办公室来组织治理职能。除治理职能外，人工智能核心职能将提供基础要素，如标准操作程序、指南、工具、人工智能素养和行业合作伙伴关系。人工智能运营职能将支持执行，涵盖平台赋能、编排（数据运维、MLOps/LLMOps）、微调，以及通过技术验证和试点进行实验。然后人工智能治理机构定义决策路径和监督职责。
上述架构具有以下职责：
- 执行指导委员会为项目提供支持，并对人员、流程和基础设施进行投资。
- 控制办公室评估和批准人工智能概念验证、最小可行产品和生产的构想，并推动定期的人工智能清单审查和风险周期。
- 负责任的人工智能办公室定义与组织的负责任人工智能原则以及其他公认的行业和监管框架相一致的实践。
- 合规办公室确保监管合规，跟踪法规更新
- 设计办公室审查关键设计并授权变更，同时确保遵循最佳实践和信息安全标准。
图3：企业人工智能办公室结构
图3：企业人工智能办公室结构
信任与改进
信任是用户接受Agentic AI的基础，它通过负责任的实施、治理、素养和持续改进来建立。信任的一个关键基础是强大的数据治理，它确保人工智能系统以诚信、公平和合规的方式运行。
Agentic AI的数据治理立足于四大核心支柱：数据质量、数据保护、数据偏见管理和监管合规（参见图4）。强大的数据质量检查确保人工智能代理所用数据的准确性和可靠性。加密、访问控制和匿名化等数据保护措施可保护敏感信息。解决训练数据中的偏见有助于实现公平和非歧视性的结果，而监管合规则确保遵守全球数据保护标准。
此外，人工智能素养计划和有效的变革管理可以应对人工智能战略不明确、劳动力准备不足和决策不透明等风险。通过监控、反馈循环、事件响应和持续的监管意识，持续改进进一步增强了信任。
图4：Agentic AI的数据治理
图4：Agentic AI的数据治理
实施指南
Agentic AI治理的成功取决于安全、隐私与监控控制的强力实施。默认采用"先读后写、少写慎写"的方式，限制高风险操作，如无限制的数据定义语言（DDL）操作、跨租户访问以及直接暴露个人可识别信息（PII）。
基于最小权限的角色与属性访问控制的多层安全模型包括：
- 身份验证和角色验证
- 策略管控的工具访问
- 执行层隔离
- 可审计性和代理注册治理
企业级监控提供覆盖Agent生命周期的端到端可见性，从而能够安全合规地扩展Agentic AI。
联系我们
联系我们