据MarkTechPost 10月27日报道,加州大学伯克利分校Sky Computing Lab推出开源向量索引LEANN。该索引几乎不把嵌入向量保存到磁盘,而是在查询时重算嵌入,其仓库基准显示,6000万块Wikipedia索引的体积从201GB降至6GB。相关研究论文获得MLSys 2026最佳研究论文奖。

LEANN建立在FAISS之上,针对的是向量索引体积常常超过被索引数据本身的问题。论文给出的例子是,76GB语料需要173GB嵌入和15GB HNSW图,合计超过原始数据的两倍。LEANN保留剪枝后的图、丢弃完整向量,并按需重建;查询时只对搜索路径上的节点重新计算嵌入。为降低重算带来的停顿,它使用两级搜索、动态批处理和高度数保留剪枝:先用低成本的乘积量化距离排序邻居,再对少量候选精确重算;将多跳候选分组送GPU;多数节点保留少量边,顶部2%的枢纽节点保留更多边。论文消融显示,两级搜索带来平均1.4倍加速,加入批处理后提升至1.8倍。

论文自报的基准测试使用6000万段落的RPJ-Wiki数据存储,在90% Recall@3下测量延迟。在RTX 4090、32GB内存的机器上,NQ数据集配合Qwen3-4B,LEANN与HNSW的下游准确率均为25.5%,但LEANN占用4GB存储,HNSW占用188GB;BM25和PQ压缩的准确率分别为18.3%和17.9%。代价是检索时间:NQ上LEANN检索耗时2.48秒,HNSW为0.05秒;由于生成约需20秒,端到端延迟从20.95秒升至23.34秒。在RTX 4090上,不同数据集的LEANN检索耗时从1.12秒到7.12秒,HotpotQA在Mac上耗时44.80秒,占整个流程时间的50.1%。研究团队称,受EdgeRAG启发的IVF重算基线最多慢200倍。

仓库展示的个人数据基准也呈现类似压缩幅度:40万条聊天消息从1.8GB降至64MB,3.8万条浏览器记录从130MB降至6.4MB。LEANN默认使用110M参数的Contriever嵌入器,它本身是索引而非大语言模型,因此不涉及上下文长度。项目以MIT许可证发布,可通过uv pip install leann安装,已有面向文档、Apple Mail、Chrome历史、微信、iMessage以及ChatGPT或Claude导出数据的应用;MCP读取器可接入Slack和Twitter书签,也可作为Claude Code的语义搜索MCP服务器。团队称,在ContextBench的30个SWE-Bench Pro任务上,初始相关代码召回率为24.2%,BM25为11.4%,同时少用8.4%的token。项目支持Ubuntu、Arch、WSL、macOS和Windows,部分应用如Apple Mail搜索仅限macOS;CPU-only Linux安装已有,但未公布CPU延迟。