据TechRadar报道,StackGen对近17.8万起公开技术事故的分析显示,AI相关事故已占所报告故障的十分之一以上,约为2023年水平的六倍。部分AI代理利用有效凭证自主删除数据、数据库或正在运行的系统,传统监控直到损害造成后才识别出异常。
Fusion Risk Management的首席产品官指出,随着AI嵌入理赔处理、编码、客户支持、欺诈检测、人力资源、风险分析和供应链规划等流程,故障与非预期结果正成为贯穿企业的风险。报道还提到,攻击者可借AI扩大深度伪造、钓鱼和社会工程规模,AI系统会因数据源、模型和提示变化出现行为漂移与可解释性缺口,员工也可能用未经批准的AI工具处理敏感信息,而AI应用的扩张速度超过了治理成熟的速度。
如果启用了AI的工作流失败、作出错误决策或不可用,企业可能既不清楚业务影响,也没有人工替代方案。报道建议企业弄清哪些业务依赖AI、依赖失效的后果、财务暴露以及行动的优先次序,并区分哪些流程能容忍概率性结果,哪些必须得到可重复的结果。可解释性同样应成为采购标准;哈佛商业评论指出,企业即便外包AI技术也仍拥有风险,并援引针对Cigna、iTutorGroup、Peloton和Workday的诉讼称,法院和监管机构正要求使用非自建AI系统的企业为工具歧视、数据错误或客户伤害负责。
据CNBC报道,在旧金山举行的Salesforce年度Dreamforce大会上,Nvidia首席执行官黄仁勋与Salesforce首席执行官Marc Benioff同台时敦促前沿实验室“尽可能快地奔跑”,会场外的讨论却更务实。芝加哥零售数据公司Spins的高级Salesforce总监Alec Bronston说,跟上进度已经很难,放缓反而提供追赶机会。一名Anthropic研究员在会前辞职,称顶尖实验室“拿我们的生命赌博”,Anthropic的Dario Amodei与OpenAI的Sam Altman随后提出安全倡议并主张放慢开发。Salesforce股价今年下跌8%。G2首席创新官Tim Sanders称,多数代理成果由“去年的AI”而非前沿能力驱动。
据CNBC另一篇报道,本周AI交易波动,即使不持有单一AI股票或主题基金,退休储蓄也可能受影响。Morningstar数据显示,截至周三收盘,Nvidia、苹果、微软、Alphabet和亚马逊五大巨头约占标普500指数的30%。维拉诺瓦大学金融学教授John Sedunov说,AI创新或应用的放缓可能对普通401(k)投资者组合中的公司产生下游影响。Empower首席投资策略师Marta Norton说,目标日期基金转向固定收益时部分AI暴露会自然下降,但大部分增长暴露仍与AI相连。注册理财规划师Nicolas Abrams说,多数情况下资金并非全押在AI上,他建议核查基金前十大或前二十大持仓,并在超配时再平衡。
据TechRadar另一篇报道,Lasso的研究在测试Google DeepMind的SynthID-Text后发现,AI水印可能无意改变大语言模型的行为,包括是否拒绝有害请求、对提示注入的敏感度以及AI代理的工具选择。Lasso将这一副作用称为“采样漂移”,并称即使没有攻击,水印也会使部分模型更愿意回答潜在有害的提示。Anthropic近期宣布未来几代Claude将采用类似水印,并称遵守欧盟《人工智能法案》是主要驱动因素之一。Lasso建议开发者在水印引入或配置变化时重新运行基准测试和安全评估。