据MarkTechPost报道,PhAI Labs、香港中文大学、复旦大学、斯坦福大学、牛津大学和普林斯顿大学的研究人员发布JEPA-Anything,一个领域无关的世界模型构建框架。它不针对每个领域设计新的预测模型,而是把同一套学习配方应用到差异很大的系统,并在视觉、生物学、临床轨迹、控制、分子动力学、物理场和天气7个领域测试。
该框架扩展联合嵌入预测架构JEPA,提出正交预测分解OPF。标准JEPA如I-JEPA或V-JEPA 2使用上下文编码器、EMA目标编码器和单一预测器,预测器输出单一目标嵌入。研究团队称这造成容量分配问题:高方差结构占主导,较弱模式获得冲突梯度。OPF把宽度d的潜在目标拆成K个宽度r的学习子空间,d等于K乘以r,多数实验K为4。每个因子有专用预测器,因子预测通过投影矩阵的Moore-Penrose伪逆重新组合,形成一个完整潜在状态,供解码、规划或推演使用。
三项正则化保证因子有效:正交损失保持每个投影器内列正交归一、不同投影器处于不重叠子空间;因子活动损失对逐坐标标准差施加铰链约束,避免因子失效;编码器方差损失向在线编码器发送直接抗坍缩信号。OPF损失直接加到各领域原始训练损失上,领域适配器处理分词和编码器,核心库以OrthogonalFactorProjection暴露共享核心。正交性对稳定合成重要:在CITRIS Interventional Pong上,容量匹配的无约束多头模型条件数为438.52,正交版本为1.00005,跨因子重叠接近零。
终端读出结果方面,单细胞数据上零样本PBMC聚类AvgBIO升至0.7752,Cell-JEPA为0.7194;Norman扰动Pearson从0.787升至0.814。英国生物银行1000个临床事件预测的平均PRAUC为0.718,匹配的标准JEPA为0.711。
潜在世界动态方面,Interventional Pong单干预MSE下降34.83%,未见过的组合干预改善12.90%,6步自由推演改善8.58%。JEPA-Anything在所报告的10个匹配动态任务上全部提升。基准包括CausalWorld、DeepMind Control、PDEBench和WeatherBench2。在APEBench Burgers上,6步推演误差下降约44.7%,每个随机种子都改善。用TrajCast风格骨干进行100步分子推演时,在水、石英、对乙酰氨基酚和苯上取得最低MAE和RMSD。
规划结果不一。参数匹配在0.3%以内时,JEPA-Anything在Walker2d和HalfCheetah上提升CEM回报,Hopper则更偏向标准JEPA。科学分析方面,因子分析提名IL-18加CD73阻断作为癌症干预,湿实验在共培养、患者来源类器官、肿瘤片段和小鼠中支持这一结果。潜在轨道模式还恢复了开普勒定律,拟合斜率为-1.4991,理论值为-1.5。
JEPA-Anything核心代码以Apache-2.0许可发布,研究检查点放在Hugging Face上,论文和GitHub仓库等已公开。