据SiliconANGLE报道,在戴尔科技公司举办的“AI领导力研讨会”上,多位企业高管指出,随着自主AI代理全天候跨平台运行,AI治理正从部署前规则转向运行时管控;同时,代理工作负载推高云令牌账单,企业AI扩展开始遭遇成本约束。

Singulr AI联合创始人兼首席执行官席夫·阿加瓦尔表示,企业意图与实际运行时状态之间需要梳理。他说,治理正变得非常重要,但在AI快速采用下也变得困难。阿加瓦尔与Sycamore Labs的斯里·维斯瓦纳特、MisaLabs的维克托·雅库比乌克同theCUBE Research的约翰·弗里尔讨论了运行时AI治理、企业数据控制以及标准化与快速创新的平衡。

阿加瓦尔指出,界定代理被允许做什么只是治理挑战的一部分,企业还需在执行过程中评估其行为。Singulr已将代理治理扩展到员工终端上的本地AI工具。他举例说,代理可执行访问互联网获取数据或向私人账户发送电子邮件等动作,而这些可能深藏在代理行为中。

部分客户通过收窄代理运行范围应对。维斯瓦纳特说,首席信息官希望代理和大语言模型调用保留在其虚拟私有云内,并让数据留在其中,因为不信任把数据发送到外部,否则不清楚数据去向。阿加瓦尔呼吁在AI治理框架上加强标准化,包括欧盟《人工智能法案》。雅库比乌克则强调需跟上AI能力快速演进,企业AI负责人希望采用最新技术并保持领先。

成本压力是另一主题。随着代理工作负载成倍增加,云令牌账单消耗分配额度的速度快于计划,促使企业重新思考推理运行位置。这种压力正在重塑企业AI部署策略,本地基础设施和开放权重模型重新回到讨论中,与云端前沿模型并存。戴尔科技AI业务发展和解决方案专家海伦·奥沙利文说,她在旧金山湾区支持的许多客户原本分配给几个月的令牌预算在几周内就用完。她表示,企业仍可使用前沿模型,但至少可通过开源模型和本地基础设施减轻令牌压力。

奥沙利文和英特尔公司西北地区销售总监蒂姆·伍德也在研讨会上与弗里尔对话,讨论企业AI扩展与利用现有CPU基础设施承载代理工作负载。奥沙利文说,企业不能再为做AI而做AI,需要设定与公司目标一致的目标。代理AI也在改变硬件组合,英特尔的代理AI架构覆盖编排、推理和边缘计算。她说,团队数月前已预见这种再平衡,代理场景下CPU使用率更重,客户尚未完全到位。

伍德解释说,企业可在投产前评估部署选项,在沙盒环境中测试开放权重模型有助于判断工作负载需要。他说,许多企业的数据中心已有CPU,现有基础设施可能仍有资源和余量运行下一代应用。奥沙利文说,戴尔和英特尔都采取咨询式方法,在推荐方案前权衡现有基础设施与资本支出、运营支出模式;企业AI扩展需要评估整个技术栈。她提到,很多客户只看到GPU并问多快能拿到,但关键在于数据。