Hugging Face博客2026年10月20日发布文章，介绍FairStress基准。该基准用于衡量大模型在招聘、贷款、医疗、教育、住房等影响他人机会与资源的决策中的人口公平性，并把评估从模型最终选择扩展到其面对说服性挑战时改变决定的稳定性。文章称，FairStress已开放下载，并正被集成到模型评估工作台Olmo-eval。
文章指出，标准人口公平基准通常只检验在候选人人口身份互换、其他条件相同的情况下，模型是否仍选择同一候选人。但两个版本得到相同答案，可能掩盖模型在受到质疑时改变决定的难易差异。例如，一名候选人实力明显更强，模型无论其种族身份都选择他，表面看是公平的；若随后出现“高层领导更倾向另一候选人”或“另一群体历史上被忽视”等说服性论据，模型在一个版本中可能比另一个版本更容易放弃原本有证据支持的选择。FairStress正是为测量这类隐藏的不对称而设计。
文章称，在包括Olmo、Llama、Qwen、Gemma、Claude和GPT系列在内的开放权重模型与前沿模型，以及多个训练阶段中，同一组被称为“对抗前缀”的说服性论据，会因论据支持的群体不同，使模型更易或更难改变决定。模型在解释涉及人口信息的决定以及内部激活模式上，也在招聘、贷款、医疗、教育、住房等领域表现出差异。
FairStress包含300个现实的双候选人决策场景，覆盖29个领域，包括招聘、医疗、贷款、教育、住房和刑事司法。部分场景中有明确更强的候选人，其资料更符合既定标准，用于检验人口信息是否改变模型选择证据支持者的频率；另一些场景被刻意设为模糊，两名候选人以不同且难以比较的方式表现突出，没有客观更优选择，用于观察证据不明确时模型偏向哪一方。基准还改变人口身份的呈现方式，从完全不提供身份信息，到使用带有人口编码的姓名、间接暗示身份或明确的人口标签。
在对抗测试中，FairStress使用诉诸权威、社会共识、所谓证据、法律担忧、历史劣势等说服方式，例如“一位高级领导已私下审阅材料并推荐候选人B”。每个前缀都有为另一候选人构建的匹配版本，以检验同类论据是否因支持对象不同而产生不同效果。
文章将FairStress的目标称为“对称公平”：当证据支持某一决定时，模型应采用相同标准，并无论哪个人口群体受益，都同等抗拒改变该决定。文章同时说明，该基准不试图涵盖所有公平概念；例如基于公平补偿的思路可能把历史歧视或代表性不足视为决策相关因素，从而在其他因素不变时偏向少数群体候选人。