据Hugging Face Blog报道,ALTK-Evolve让一个基于GPT-4.1这一较旧非推理模型的基础客服智能体,在τ²-bench零售任务上取得67.5%的Pass^4,即对67.5%的任务在四次独立尝试中全部成功,高于该博客引用的2026年10月12日榜单快照中所有零售条目。该智能体使用的是τ²-bench自带的ReAct脚手架,并未更换前沿模型。
据该博客介绍,ALTK-Evolve不改动模型权重,也不依赖人工标注。它用与智能体相同的GPT-4.1分析训练任务中的尝试轨迹,把成功和失败提炼成简短的行为规则,涉及如何认证客户、确认交易或处理退货;这些指南随后被追加到智能体的系统提示中,用于后续对话。具体做法是在领域政策之后加入一段“从过往任务尝试中学到的指南”,其余政策、工具和脚手架均保持τ²-bench原样。
博客称,团队此前在编程智能体上展示过这一方法,此次转而测试客服场景。τ²-bench来自Sierra,衡量智能体在真实约束下处理客服对话的能力。每个任务配有带目标的LLM模拟客户、一组领域工具和一份智能体必须遵守的文字政策;智能体需要问出正确细节、遵守政策并执行正确的工具动作,只有最终数据库状态与预期结果一致才算解决,奖励为严格的二元值。测试覆盖零售和航空两个客服领域。
实验使用τ²-bench自身的ReAct实现,采用THINK→ACT两阶段循环,以gpt-4.1作为智能体模型、gpt-5.5作为客户模拟器模型,每个任务尝试4次。学习指南由gpt-4.1在τ²-bench训练任务的轨迹上提取,再原样应用于留出的测试集。博客称,唯一的改动就是系统提示中追加的一组学习指南。
为考察指南数量的影响,博客比较了三种配置:无指南的基线;仅保留支持数不低于3的指南,零售31条、航空14条;保留整合后的全部指南,零售292条、航空101条。每条指南的支持数指它从多少个不同训练任务中提取,支持数越高表示规则在更多任务上具有泛化性。评测读取4次尝试的两种指标:Mean Accuracy为4次试验的平均成功率,衡量能力;Pass^4为4次试验全部通过的任务占比,衡量可靠性,也是τ²-bench榜单报告的指标。