据科技媒体MarkTechPost 8月27日报道,Anthropic公司公开了其claude-protein-binder-design数据集,包含1440个AI设计的迷你蛋白粘合剂及对应的湿实验结果,用于评估计算预测与实际实验的一致性。该数据集针对16个靶标,每个设计都附有来自两个独立实验室的真实结合检测结果,以及相应的计算预测。
MarkTechPost以该数据集为基础,演示了一套从计算模拟到湿实验的评估方法。分析首先按实验判定筛选出至少获得一个实验室测定的设计,再基于这些样本统计不同设计模型、设计方法和目标靶标下的实际命中率,并采用威尔逊区间估计结果的不确定性。随后,评估检验结构预测器的预测分数与真实实验结果的对应关系,并测试将不同预测指标组合起来是否比单一指标更可靠。评估还分析了预测排名转化到实际测试预算时的效率,以及两个独立实验室之间结果的一致性。
此外,研究者训练了一个目标感知的分类器,利用计算特征预测实验成功概率,以检验这些信号能否可靠地预判实验结果。数据集通过Hugging Face平台公开发布,其中包含设计序列、设计工具、实验判定等多个信息表,并记录了每个设计所用的AI模型、设计方法和靶标信息。报道称,这类同时提供大规模计算预测和湿实验验证的公开资源,有助于系统衡量AI蛋白质设计的真实表现。MarkTechPost的教程还附有完整分析代码,方便其他团队复现和扩展。