据TechRadar报道,Archive360首席执行官在9月23日刊发的分析文章中指出,企业高管花大量时间讨论AI代理是否已具备投产条件,但这一出发点本身就是错的,因为代理并不在真空中行动,其决策质量高度依赖所使用数据的质量。文章认为,在将代理投入生产之前,组织需要受治理的数据输入、恰当的访问权限,以及对代理产出的可靠记录。
文章称,模型的安全性与性能固然重要,却无法弥补对代理可检索信息控制薄弱的问题。如果把过时的客户信息、重复记录或从未被正确分类的材料交给代理,它只会基于手头现有内容行事,并在成千上万笔交易中迅速做出依据不足的决策。采用与治理之间的差距正在快速拉大:在急于引入AI的过程中,许多组织尚未解决底层数据问题就把代理推向生产,因此绝大多数AI项目投资回报为零并不令人意外。
文章还提出,AI代理治理并不止于代理可以访问的数据,也包括代理产生的数据,例如它作出的决定、收到的指令和创建的文件。随着AI参与企业内部的重大决策,AI的可追溯性与可辩护性已成为关键能力。
数据问题被文章列为第一优先。文章认为这并非新问题,多数大型组织多年来都在试图梳理分散在运营平台、文件共享、归档以及早该退役的应用中的信息,但代理式AI能够大规模、快速地利用这些弱点,使该问题更为紧迫。在向代理开放数据之前,IT部门需要识别敏感与受监管信息,一致地应用分类与留存政策,并判断哪些数据源足够新、足够可靠。遗留数据尤其需要谨慎处理:退役应用中往往存有价值的业务历史,同时也含有重复记录、过时信息以及受法律保留或留存要求约束的数据。文章建议企业保留赋予遗留数据含义的上下文与关系,再提供经过挑选、由政策控制的数据集。缺少上下文,代理要么无法完成任务,要么依据错误判断行事。
访问权限被文章视为一项业务决策。企业常犯的另一个错误是给代理开放超过其需要的访问范围;系统能够与代理连接,并不意味着就应该连接。文章主张把代理当作员工对待,遵循最小权限原则,例如客服代理可能需要当前账户与交易信息,但通常不需要法律文件或历史员工记录,访问范围应严格跟随代理的既定用途。来源同样重要,代理不应把当前记录系统与几十年前的归档视为同等权威,而必须知道信息来自何处、何时更新、适用哪些政策。
文章最后强调,治理并不在代理拿到获批数据后就结束。AI相关数据正迅速成为诉讼、合规审查与客户投诉中的重要材料,组织应当能够说明代理被要求做什么、访问了哪些信息、应用了哪些政策以及随后发生了什么。提示词、检索内容、输出以及由此产生的决策都应作为业务记录保留,使审查者能够重建AI的决策,并追溯到源数据和授权该活动的人员或职能。问责也不应只落在技术团队身上:安全、数据、隐私、法律与合规负责人各有角色,但必须有一名具名的业务负责人对结果负责,因为自动化可以执行动作,却无法承担责任。文章称,数据就绪不是AI试点成功后再补做的次要工作,而是决定试点能否投产的一部分。