要点
Agentic AI应用是能够自主决策并执行行动的系统。这种自主性在创造巨大机遇的同时,也为组织带来了新的挑战(见图1)。
Agentic AI采纳中的关键挑战包括:
这些挑战表明,治理并非可选项,而是管理复杂性、风险以及与组织目标对齐的关键。此外,欧盟《人工智能法案》等监管框架已为负责任AI设定了标准。
为实现企业级控制,Agentic AI的治理应包括六个关键要素(参见图2):
这些要素共同将策略、控制措施、人员和合规统一为单一的操作规程。
AI的治理框架定义了道德边界和合规期望。道德原则指导负责任的人工智能行为,而遵守欧盟《人工智能法案》和《通用数据保护条例》等法规则强化了对数据保护的承诺。
当人工智能系统能够自主解释和遵循的格式时,治理就会变得可执行,从而确保行为的一致性和合规性。风险评估框架能尽早识别偏见、安全漏洞和意外后果等问题。结构化的评估方法评估已识别风险的严重性和可能性,从而能够制定有针对性的缓解策略。通过对所有Agent进行注册,建立集中控制,从而实时了解各项目的部署、使用和风险情况。
建立治理的一个关键组成部分是实施技术护栏和监督机制,以确保人在回路中、监控能力与可解释性。
人在回路中(Human-in-the-loop)
监控
可解释性
这些机制共同确保企业级人工智能行为的安全性。
建议设立企业人工智能办公室以实现有效治理(参见图3)。该办公室将设有人工智能执行指导委员会和领导层。它将通过控制办公室、设计办公室、合规办公室和负责任的人工智能办公室来组织治理职能。除治理职能外,人工智能核心职能将提供基础要素,如标准操作程序、指南、工具、人工智能素养和行业合作伙伴关系。人工智能运营职能将支持执行,涵盖平台赋能、编排(数据运维、MLOps/LLMOps)、微调,以及通过技术验证和试点进行实验。然后人工智能治理机构定义决策路径和监督职责。
上述架构具有以下职责:
信任是用户接受Agentic AI的基础,它通过负责任的实施、治理、素养和持续改进来建立。信任的一个关键基础是强大的数据治理,它确保人工智能系统以诚信、公平和合规的方式运行。
Agentic AI的数据治理立足于四大核心支柱:数据质量、数据保护、数据偏见管理和监管合规(参见图4)。强大的数据质量检查确保人工智能代理所用数据的准确性和可靠性。加密、访问控制和匿名化等数据保护措施可保护敏感信息。解决训练数据中的偏见有助于实现公平和非歧视性的结果,而监管合规则确保遵守全球数据保护标准。
此外,人工智能素养计划和有效的变革管理可以应对人工智能战略不明确、劳动力准备不足和决策不透明等风险。通过监控、反馈循环、事件响应和持续的监管意识,持续改进进一步增强了信任。
Agentic AI治理的成功取决于安全、隐私与监控控制的强力实施。默认采用"先读后写、少写慎写"的方式,限制高风险操作,如无限制的数据定义语言(DDL)操作、跨租户访问以及直接暴露个人可识别信息(PII)。
基于最小权限的角色与属性访问控制的多层安全模型包括:
企业级监控提供覆盖Agent生命周期的端到端可见性,从而能够安全合规地扩展Agentic AI。