据Hugging Face博客文章，微软与Hugging Face在10月22日发布的联合文章中介绍，他们把ThinkingBox对数据库最终状态的检查结果转化为强化学习奖励，用于训练基准集之外的智能体任务。经过50步GRPO训练，Qwen3.8-27B在ThinkingBox-Bench上的平均成功率从51.70%升至60.78%，在全部20次尝试中均正确完成的任务数从38个增至107个。
文章称，ThinkingBox此前用于评估智能体是否真正完成任务：每个任务提供真实后端和一组工具，智能体操作结束后，系统检查数据库中实际发生的变化，而不是看智能体是否声称完成。在首个博客中，一个模型把客户工单标记为已解决，但背后的承运商异常仍未关闭；它进行了九次看似合理的工具调用，却留下了一行错误数据库记录。
作者随后意识到，对多数任务而言，可执行检查能直接依据最终数据库状态返回1或0，这不仅可以作为评分器，也可以作为奖励函数。他们从ThinkingBox-Bench之外选取ThinkingBox格式任务构建训练池，并用其可执行结果作为奖励。难点在于挑选适合训练的任务：多数任务要么已经被模型解决，要么对当前模型完全无解，这两类任务都无法提供有效学习信号。
文章将这一选择方法称为离线策略相对难度。团队在训练前使用基础策略估计每个任务的成功概率，并在整个训练过程中保持所选训练池固定。随后，他们用GRPO对Qwen3.8-27B进行50步微调。评估时，507个基准任务各运行20次；pass@1衡量10140次尝试的平均成功率，pass@20衡量至少成功一次的任务比例，Observed 20/20衡量每次尝试都通过的任务比例。
结果显示，Observed 20/20从38个、7.50%升至107个、21.10%，增加69个任务；pass@1从5242次、51.70%升至6163次、60.78%，提高9.08个百分点；pass@20从453个、89.35%降至446个、87.97%，减少7个任务。文章称，训练显著提高了可重复成功率，但至少成功一次的任务覆盖出现小幅下降。
文章还举出一个企业酒店预订任务：旅客申请降级房间，但公司政策要求先获得经理批准。训练前，智能体在20次尝试中有15次未经批准更改预订并退款；强化学习微调后，它在20次尝试中均保留了预订和支付状态，19次尝试的所有预期记录匹配。
文章回顾首个博客的测试称，18个模型各运行20次，Kimi-K3至少成功一次的任务比例为93.89%，但仅在68个、13.41%的任务上20次全部通过。Claude Opus 5的覆盖范围较窄，但一致性更高；Claude Opus 5.5的pass@1比Claude Opus 5高0.66个百分点，却在20次尝试中通过的任务数同为241个。文章据此指出，头条准确率的提升未必带来额外可靠性。