PrismML小模型落地高通骁龙平台 可在智能眼镜本地运行

据TechCrunch AI报道，在周三举行的高通骁龙峰会上，高通展示了AI实验室PrismML开发的1-bit Bonsai LLM，该模型可在基于骁龙AR1 Gen 1平台打造的AI智能眼镜上本地运行。PrismML由加州理工学院研究人员创立，并获加州大学伯克利分校的Ion Stoica担任顾问。这一展示表明，小模型正进一步向可穿戴终端设备落地。

据该报道，PrismML称其技术能够把较大模型显著压缩，在这款模型上压缩幅度约为4倍，同时在标准基准测试中保留几乎全部性能。此次面向智能眼镜的版本是一个20亿参数模型，针对视觉和语言任务进行了调优，佩戴者可以实时询问自己所看到的内容。该模型可在设备本地运行。

PrismML更大的目标是推动开放权重AI在设备上运行，并更充分地利用设备已有的计算能力。该初创公司把这一定位描述为一种替代方案，以减少对专有AI实验室隐私承诺的依赖，也减少对更多算力无止境需求的依赖。

为高通芯片发布模型，是PrismML朝上述愿景迈进的一步。不过，报道称，目前尚无运行PrismML的智能眼镜产品发布。高通在骁龙峰会上展示的是其芯片平台与PrismML模型的结合能力。