据MarkTechPost于2026年9月16日报道,Nums AI发布预训练表格基础模型Causilo,用于分类和回归,并在TabArena单模型排名中取得分类和回归最高Elo。该模型提供scikit-learn接口,代码以Apache-2.0许可发布,预训练权重在Hugging Face,目前可用于CUDA或CPU上的研究和评估;商业、生产及托管API使用需另行获得Nums AI许可。
Causilo采用上下文学习。调用fit不会更新预训练权重,而是把训练行存为上下文,在一次前向传播中预测查询行。根据其TabArena提交,Nums AI仅用合成数据预训练该模型,未使用TabArena数据集。输入支持NumPy数组或pandas DataFrame,可含类别特征和缺失值;分类最多支持10类,回归默认返回均值预测。1.0.1版本增加中位数和分位数输出,基于999个原生分位数。
网络分三阶段:细化、压缩和上下文学习。特征每组3个,缺失值有独立学习向量。两个列阶段各用128个潜在槽读取训练行并生成摘要;中间行阶段通过4个潜在令牌让特征组交互,使用交叉注意力而非完整自注意力,Nums AI称成本随特征数线性增长。池化块将每行压缩为512维向量,标签加入训练行后,12层预测块让查询行关注带标签行;默认8个集成成员共享权重。
TabArena评估采用官方流程,包含51个数据集、816个Full拆分、8个估计器和种子42。一名维护者复跑完整评估,总体Elo为1794。Causilo总体Elo为1792.9,高于TabFM的1764.4;分类Elo为1771.8,高于EXAONE Tabular的1758.8;回归Elo为2032.6,高于TabFM的1992.8。该领域还包括Google Research的TabFM、LG AI Research的EXAONE Tabular和Prior Labs的TabPFN-3,后者总体Elo为1636.2。第一排名不含系统条目;计入系统时,Causilo在88个条目中列第3。可改进性上,TabFM在总体和分类领先,Causilo在回归领先;头部Elo置信区间重叠,领先较窄。
在ScoringBench上,Causilo 1.0.1提交于101个数据集、每个5折、样本上限3000。Nums AI报告称其在CRPS、R²和RMSE上均排第一;ScoringBench维护者在提交前独立核查。速度与内存测试在1块H100 80GB GPU上进行,每任务8个CPU核心。Causilo每1000行拟合2.504秒、预测0.251秒,显存18.15GiB;TabICLv2为3.449秒、0.303秒和8.37GiB;TabPFN-3为4.18秒、0.686秒和60.88GiB。按该测试,Causilo拟合和预测最快。原文称TabPFN-3显存占用远低,但表格显示其60.88GiB高于Causilo和TabICLv2。
Causilo需要Python 3.10至3.12和PyTorch 2.13或更新版本,首次fit会自动下载检查点。代码在GitHub以Apache-2.0开放,权重仅限研究用途,无商业许可。