据 SiliconANGLE 报道,网络安全培训公司 Hack The Box Ltd. 于 10 月 6 日推出 AI Range 企业版,允许企业安全团队在本公司的 AI 智能体上岗前,检验它们能否胜任被分配的工作。

Hack The Box 指出,安全团队对智能体的审核存在缺口:一个智能体可能仅凭一项基准测试的高分或厂商的测试结果就被投入生产,却从未针对它日常要处理的工作接受过检验,而同样岗位的人类员工通常要经过考核。部署之后,随着底层模型更新,智能体的表现也可能出现漂移。

该公司去年 12 月推出最初的 AI Range。按照公司的说法,此后 AI 实验室、政府客户和超大规模云厂商已在该平台上测试智能体。企业版把同样的测试开放给企业安全团队,并按每个智能体被分配的角色进行评估。

这套评估方法名为 Agentic Worker Competence,即智能体工作者胜任力。每个智能体获得一项针对其角色的评分,并在所经历的每个环境中得到一个通过或未通过的标记,结果随时间被追踪记录。随着现实中不断出现新的漏洞和攻击模式,平台会定期加入新环境。当智能体、其所用模型或数据发生变化时,客户可以重新运行评估。

首席产品官 Gerasimos Marketos 将这一过程概括为“接入智能体、给它分配角色、让它工作”。他说,平台随后记录智能体如何自行应对每一项任务,安全负责人可以据此判断某个智能体已经可以承担哪些工作。

发布内容也覆盖与智能体协同工作的人类员工。创始人兼首席执行官 Haris Pylarinos 表示,随着 AI 承担更多网络安全任务,领导者需要对“劳动力的两端”都有信心。

发布时只有渗透测试员和安全运营中心分析师两个角色提供 AI 增强版本。在分析师版本中,从业者在仿真场景里借助 AI 审查警报,AI 建议的下一步行动由他们自行判断。这两个角色的评分采用 Hack The Box 所称的 Agentic Operator Competence Scoring,场景会检验从业者能否发现智能体推理中的错误、是否知道何时介入;同时也会对“不介入”打分,依据是当事人是否在 AI 驱动的工作无需纠正时让它继续运行。

AI Range 企业版和两个 AI 增强角色现已可用,公司计划在未来数月推出更多网络安全角色。

Hack The Box 是一家获得风险投资的初创公司,2023 年完成由凯雷集团领投的 5500 万美元 B 轮融资,Paladin Capital Group 和 Marathon Venture Capital 参与投资。公司称其拥有超过 800 家企业客户,以及一个由超过 400 万名网络安全专业人员组成的社区。