据MarkTechPost报道,该媒体于10月25日发布教程,介绍如何在标准llama.cpp中运行Underdog Saluki 27B,并把这一7.9GB的Qwen3.8-27B构建与ISTA-DASLab的GSQ-RCO量化版本放在相同的120项工具调用任务上比较,以检验约每权重2比特的量化是否保留工具调用能力。
Saluki由ConwayResearch发布,文件名为Underdog-Saluki-27B-1.0-IQ2-mix.gguf。教程称,其制作者表示该模型在约2比特每权重下保持工具调用能力,并在其自有的120项基准上略优于完整的54GB模型。Saluki建立在ISTA-DASLab对同一模型的GSQ-RCO量化之上,因此教程将两个文件并排放入原版llama.cpp:先逐张量比较两个GGUF文件的头部,再进行字节级比较,以判断Saluki是ISTA量化比特的重混,还是一个经过改变的模型。
在运行环节,教程分别在单块GPU上服务两个文件,记录内存占用和速度,然后用Berkeley Function Calling Leaderboard(BFCL)自带的检查器,对相同随机种子的120项任务评分,并同时采用严格和宽松解析。教程列出的任务数据包括BFCL v4的simple_python、multiple、irrelevance、parallel和parallel_multiple等类别,检查器代码、常量与工具函数均取自gorilla仓库的一个固定提交。
教程还固定了下载资源的版本和校验信息:llama.cpp使用b11565版本,发布于2026年10月12日,提交为f9a95aeb2;Saluki文件大小为7898369152字节,SHA-256为4a673518b11b1c4445f9b9a9d3c40356f5ba39f6a6260dcb25f3fbfd475d9efb;ISTA文件大小为8422841472字节,SHA-256为f0ae5006da0ce6225935339e4e989369f94de95d2263cf969519f8420c9ae02c。运行环境要求Linux系统加NVIDIA GPU(如Colab T4),或Apple silicon Mac。