据 Hugging Face 博客消息，NVIDIA 于 2026 年 9 月 29 日发布开源表格基础模型 NVIDIA Kumo Tabular，并已上线 Hugging Face。该模型属于 NVIDIA Kumo Structured 模型集合，面向表格分类与回归任务，在给定带标签行的表格后，可通过单次前向传播预测新行的标签，无需训练、调参或特征工程。该博客称，Kumo Tabular 在 TabArena、BeyondArena、TALENT 和 ScoringBench 四个基准测试中排名第一。

Kumo Tabular 提供 28M 至 215M 参数三种规模，通过开源库运行，并以 OpenMDW-1.1 许可证发布，允许商业使用。模型代码与权重分别发布在 GitHub 和 Hugging Face。

表格数据是企业机器学习的基础。客户记录、交易、传感器日志、理赔和订单都以表格形式存在，从这些数据中预测流失、违约、需求或价格是工业界常见的机器学习任务。过去二十年，这类工作主要依靠梯度提升树，效果良好，但模型生命周期变化不大：每个新问题都需要收集标签、设计特征、搜索超参数、验证并部署一个从零学习特定任务的模型。博客称，大语言模型提供了另一种处理新任务的方式，即在提示中给出少量示例，预训练模型无需更新权重即可解决任务。这种上下文学习同样适用于表格：一个在数百万张表格上预训练的模型，可以把带标签的表格作为上下文，直接预测新行的标签。

根据该博客，Kumo Tabular 是围绕表格结构构建的 Transformer，采用在 TabICL 和 TabPFN 中引入的列注意力、行注意力和上下文注意力。为预测标签，模型需要理解每个值在其列中的含义、理解一行中各列的交互关系，并将带标签的上下文行与待预测查询行关联起来。模型通过单元嵌入、行嵌入、上下文学习和长度感知注意力温度实现这些能力。其中，数值和类别值经过傅里叶特征处理，缺失值无需插补并会被特殊处理；行嵌入通过多次交替列注意力和行注意力生成；最终 Transformer 在行嵌入上运行，上下文行相互关注，查询行只关注上下文行。每个预测仅取决于上下文和该行本身，不取决于同批被评分的其他行。由于上下文不会查看查询行，其键和值只计算一次，可复用于后续预测。查询行使用 Test-GQA 缩小每次预测读取的缓存。分类任务输出类别概率，回归任务输出 999 个分位数，并据此给出点预测和不确定性估计。

博客还提到，随着键数量增加，Softmax 注意力会分散，可能从数百行时的锐利变得在数万行时模糊，而推理表格往往大于典型训练表格。Kumo Tabular 因此用一个随键数量对数增长的温度缩放每个查询，系数对每个注意力头单独学习，使注意力在表格变长或变宽时保持锐利。该模型完全在人工表格上预训练，每张训练表由结构因果模型采样生成。