据MarkTechPost报道,Liquid AI于2026年10月22日发布实时推理引擎Liquid RIPL,称可在实时请求路径中运行LFM2.5系列模型,端到端返回完整生成响应的时间低于50毫秒,并在持续峰值流量下保持这一延迟水平。

RIPL全称为Real-time Inference Pipeline,面向企业部署,支持参数量从2.3亿到26亿的LFM2.5模型,可运行在NVIDIA H100、H200、B200和RTX PRO 6000 GPU上。Liquid AI称,搜索排序、欺诈检测和支付授权等场景需要在毫秒级给出结果,而多数模型服务栈针对大批量和长时间代理任务设计,单次请求耗时数秒仍可接受;RIPL试图让这些实时路径直接使用生成式模型,而不必退回传统模型。

Liquid AI公布的基准测试使用单块B200,在开环泊松到达下测量端到端p95延迟,LFM运行于RIPL,包括MiniCPM5和Granite 4.2在内的基线运行于vLLM。该公司称,RIPL的p95延迟较运行在vLLM上的Qwen3.5低,差距为5.6至28.4倍。其中,LFM2.5-1.2B在256个输入token、128个输出token时p95为155.8毫秒,Qwen3.5-0.8B为4431毫秒,差距28.4倍;LFM2.5-2.6B在同类长请求下为449.1毫秒,对比Qwen3.5-2B的2499毫秒,差距收窄至5.6倍。Liquid AI也承认,更长请求无法维持低于50毫秒。

在相同模型对比中,Liquid AI将LFM2.5-350M分别部署于vLLM和RIPL,称RIPL的p95延迟曲线在各工作负载下均明显更低,从而将部分性能增益归因于推理引擎而非模型架构。LFM2.5本身采用混合结构:LFM2.5-1.2B-Instruct有16层,其中10层为双门控卷积块、6层为GQA块;LFM2.5-2.6B有30层,包括22个卷积块和8个GQA块。

Liquid AI还列出六类实时工作负载及固定延迟预算,包括广告查询改写32个输入、32个输出、50毫秒预算,搜索意图分类128个输入、1个输出、20毫秒预算,搜索重排1000个输入、1个输出、30毫秒预算,支付风险评分512个输入、16个输出、50毫秒预算,信贷决策8000个输入、64个输出、150毫秒预算,以及图像替代文本512×512图像加64个token输入、16个输出、100毫秒预算。

生产应用方面,Liquid AI称Shopify正在延迟敏感的电商工作负载中部署LFM,搜索增强场景的生产流量推理低于20毫秒;据其博客,这些模型使用的参数量比替代方案少约50%,推理速度快2至10倍。RIPL为企业版闭源产品,Liquid AI公布的所有性能数据均为其自行报告。