据Hugging Face博客2026年10月27日发布的消息,Liquid Foundation Models团队推出新一代LFM3系列,将文本、视觉、音频、全模态和决策模型放在同一共享骨干上,参数规模均在2B级,支持单张GPU微调和端侧部署。
LFM3相比LFM2系列的主要变化包括参数效率提高、每类模态共用同一骨干、面向边缘设备以及便于专用化。LFM3-1.7B在参数少35%的情况下表现超过LFM2.5-2.6B;LFM3系列模型从LFM3-1.7B-Base分支而来,其中包括首个全模态模型和视觉模型的视频输入;文本模型以4位精度运行约占用1GB,256K上下文窗口可让智能体在设备端运行。
LFM3-1.7B-Base为24层模型,采用三混合层结构,包含13层门控短卷积、5层窗口为256 token的滑动窗口注意力和6层全局注意力,卷积核大小从LFM2的3提高到7,并使用头级门控注意力、部分RoPE和夹心归一化。博客称,架构通过硬件在环搜索重新设计,搜索覆盖14种设备和后端组合,从手机、Raspberry Pi 5到笔记本、云CPU、GPU和高通Hexagon NPU。
该模型以22T token预训练,使用与LFM2.5-8B-A1B相同的128K词表;最后3.5T token为中期训练阶段,使用更多智能体轨迹和工具调用数据,并将上下文窗口扩展到256K token。按参数计,LFM3-1.7B在短提示下与LFM2-1.2B相当,在8K token上下文中约快25%。
六款模型分别为LFM3-1.7B、LFM3-VL-2B、LFM3-Audio-2B、LFM3-Omni-2B、d1-2B和d1-omni-2B。LFM3-1.7B处理文本输入输出文本;LFM3-VL-2B支持文本、图像和视频输入并输出文本;LFM3-Audio-2B支持文本和音频输入,输出文本和语音;LFM3-Omni-2B支持文本、图像、视频和音频输入,输出文本和语音;d1-2B和d1-omni-2B分别基于LFM3-VL-2B和LFM3-Omni-2B,输出校准答案。
新视觉编码器结合卷积和注意力,计算量比此前LFM视觉模型使用的SigLIP2编码器少3倍;其164M参数版本在相同LFM2.5-230M语言骨干下,精度与Qwen3.5-2B的视觉编码器相当,所需FLOPs少2.2倍。视频处理将每对采样帧嵌入一个时间切片,使时间序列长度减半。音频编码器完全因果,可在用户说话时预填充,首token时间低至50毫秒;LiquidCodec在Apple M4 Max单CPU线程上以约87倍实时速度将生成token转为语音,并支持流式解码。
每款模型均可在transformers中运行。LFM3-1.7B面向本地智能体、工具调用、结构化输出或领域微调底座,经过后训练可在Hermes Agent、Pi和OpenClaw等智能体框架中运行。据博客数据,相较前代LFM2.5-2.6B,LFM3-1.7B在参数少35%的情况下,WebArena-Verified得分38.42对3.02,并在浏览器和业务应用的长任务上超过Qwen3.5-9B。