据MarkTechPost报道，Perplexity与NVIDIA研究人员于2026年10月22日提出一种名为JOLT的语言模型后训练方法。JOLT全称Joint On-policy Learning and Teaching，训练同一个模型承担教师和学生两种角色：教师可看到特权信息，学生看不到。研究团队称，在MATH任务上，JOLT以6.5倍更少的已处理训练Token达到与GRPO相同的准确率；加入学生自身结果奖励的JOLT+在测试的五个设置中均取得最高平均分。
JOLT建立在On-Policy Self-Distillation（OPSD）之上。据MarkTechPost报道，结果奖励强化学习如GRPO每次尝试只给出一个奖励，信号稀疏，无法指出哪些Token有帮助；在长程智能体任务中成功样本稀少，学习较慢。在线策略蒸馏让更强的教师为学生的每个Token打分，OPSD则取消独立教师，让同一模型在获得已验证解等特权上下文时充当教师。研究团队认为这仍不够：掌握答案的教师可能采取学生无法跟随的捷径，其指导可能超出学生能力范围。论文称，OPSD的教师与学生分歧在MATH训练过程中扩大。
JOLT同时训练共享模型的两种角色。教师获得特权信息，从结果奖励以及一项使其靠近学生的KL惩罚中学习；学生只看到任务，从教师对其自身尝试给出的Token级蒸馏信号中学习。两种角色都从各自上下文生成的轨迹中在线学习。JOLT+进一步把学生自身的结果奖励加入学生更新。研究团队将目标放在“奖励一致”的教师上，使蒸馏更新与学生奖励梯度方向一致。
测试覆盖五种基础模型和特权信息设置：GSM8K使用DeepSeek-V2-Lite，教师获得验证答案；MATH使用Qwen3-0.6B，教师获得参考解；LiveCodeBench v6使用Qwen3-8B和131道题，教师获得通过的同源解或执行反馈；AppWorld使用Qwen3-4B-Instruct，教师获得过往尝试摘要；Terminal-Bench 2.1使用Qwen3-30B-A3B-Instruct并在TMax上训练，教师获得私有验证文件。JOLT+在每个设置中平均分最高。与最强基线GRPO相比，JOLT+在GSM8K上高1.5分，MATH高4.2分，LiveCodeBench v6高3.0分，AppWorld高9.9分。Terminal-Bench 2.1上，JOLT+的pass@1为10.96%，GRPO为8.25%；pass@32为34.83%，GRPO为30.34%。普通JOLT不加学生奖励时在MATH上为72.14%，高于GRPO的68.36%；但在AppWorld上为51.92%，低于GRPO的62.20%。
训练计算方面，研究团队在MATH上拟合准确率随训练Token预算变化的曲线。达到63.44%准确率时，GRPO的检查点使用8.40M已处理训练Token，JOLT拟合曲线需要1.30M，减少6.5倍；仅计算完成Token时差距约为13倍。在55%至65%准确率目标区间，已处理Token的节省为4.3倍至7.4倍。JOLT的平台期接近72%，GRPO约为70%，OPSD为62%。材料显示，JOLT、JOLT+、GRPO、OPSD和π-Distill在MATH、LCBv6、AppWorld和Terminal-Bench 2.1上的分数均来自Perplexity在JOLT论文中的自有运行，并按各方法调参；JOLT代码尚未发布，训练硬件未披露。