Saluki 27B 发布：8GB 显卡跑 Qwen3.8-27B，成绩保留 96%

Conway Research 于 10 月 9 日发布 Saluki 27B 1.0，把阿里 54 GB 的 Qwen3.8-27B 压缩成一个 7.89 GB 的 GGUF 文件 —— 缩小 6.84 倍，公司称在九项评测上保留了基础模型 96% 的基准成绩。这次发布距 Conway Research 推出其端侧 AI 助手 Underdog 仅四天，把 Saluki 27B 定位为一套围绕消费级硬件构建的商业产品策略的开源推理底座。

7.89 GB 的 Saluki 27B 装得进 8 GB 显存的显卡 —— RTX 4060、Arc A770 —— 以及苹果 M 系列的基础配置。同一模型的 Q4_K_M 量化约需 17.1 GB，要求 24 GB 的 GPU 或更高配的 Apple Silicon。Saluki 27B 是 Qwen3.8-27B 第一个让多数开发者手头那一档硬件跑得起来的量化版本。

2 比特量化究竟对一个 27B 模型做了什么

每个参数只有两比特时，常规的 GGUF 量化丢掉的数值精度之多，往往让结果在复杂任务上功能性地失去连贯。广泛使用的 Q4_K_M 档对一个 27B 模型约需 17 GB；真正的 2 比特格式通常以严重的质量退化换取体积缩减。

对 Saluki 所称保留率的解释是重要性矩阵（imatrix）校准—— llama.cpp 生态中的一种技术：量化前先让一个校准数据集过一遍模型，找出对输出质量影响最大的权重，再对这些位置更谨慎地取整。发布的文件名Underdog-Saluki-27B-1.0-IQ2-mix.gguf确认了 IQ2 家族中的 IQ2-mix 格式；具体用的校准数据集仍未披露。使用 imatrix 的 IQ2 系 GGUF 格式一贯优于朴素的 Q2 量化。

Qwen3.8-27B 的架构可能也有帮助。该模型有 64 个 transformer 层，按 48:16 分配给 Gated DeltaNet（带固定大小循环状态的线性注意力）和常规的二次注意力。线性注意力层避开了全注意力不断膨胀的键值缓存；其紧凑的状态对激进的权重取整也可能没那么敏感 —— 这是 2 比特保留率好于预期的一个合理的结构性原因，不过尚未在针对该模型的已发表量化研究中得到证实。

2 比特下的工具调用反而提升，引出基准测试的疑问

最惊人的说法不是质量保留，而是某些任务上的质量提升。Conway Research 报告Saluki 27B 在其 Underdog Bench 工具调用评测上得 88 分，全精度 Qwen3.8-27B 为 84 分；并行工具调用为 42 比 35。一个 2 比特量化版在任何基准上超过基础模型都违反直觉，值得审视。

Underdog Bench 是 Conway Research 自行开发并运行的专有评测。其方法未公开记录，也没有独立团队复现其结果。用偏重工具调用的数据做 imatrix 校准，可能系统性地提高 Underdog Bench 任务分布上的表现，同时降低其他方面的表现。经独立验证的失效模式正是 Conway Research 自己披露的那一个：AIME 2025 和 2026 的分数下降 15 到 18 分 —— 在考验多步符号推理的基准上这是明显的退步，而权重精度在那里恰恰最要紧。

在 Underdog Bench 的方法公开并被外部复现之前，工具调用的提升应被视为公司自报数据。证据能支持的是：Saluki 27B 把通用推理能力保留得足以实际部署 —— AIME 的警示则划出了不该把它往哪里推的边界。

Saluki 27B 解锁的硬件档

在这次发布之前，8 GB GPU 的最佳选择是一个 70 到 90 亿参数模型的 Q4_K_M —— Llama 3.1 8B、Qwen2.5 7B 或 Gemma 2 9B，各 4 到 6 GB。Saluki 27B 以相近的文件大小做到 270 亿参数，在指令遵循和工具使用任务上提供明显更深的能力 —— 前提是这些任务不依赖顶尖的数学推理。

延伸阅读：阿里上线 Qwen3.8-Omni-Flash：音视频智能体 API，百万 token 0.15 美元

发布背后 Conway Research 的开放核心策略

Saluki 27B 以 Apache 2.0 许可发布，在标准 llama.cpp 上运行。任何开发者都可以用 Ollama、LM Studio 或裸 llama.cpp 安装来使用它。这种开放在商业上是有意为之。

Conway Research 推出了 Underdog，就在四天前的 10 月 5 日至 6 日。该应用通过公司专有的 Husky 推理引擎运行，针对 Apple Silicon 优化，独立于 llama.cpp。以 Apache 2.0 开源 Saluki 的 GGUF 权重，推动的是整个 llama.cpp 生态 —— Ollama、LM Studio、开发者测试 —— 的采用，而 Conway Research 把推理上的优势留在专有层。Conway Research 于 10 月 2 日完成融资，投资方包括 Andreessen Horowitz、Khosla Ventures、Hummingbird、SV Angel 和 Anthology Fund；天使投资人包括 Patrick Collison 和 Guillermo Rauch。这个先后顺序 —— 融资交割、Underdog 上线、开源 GGUF 发布 —— 是一次协调好的市场进入，不是偶然的研究慷慨。

独立验证才是接下来要看的指标

Qwen3.8-27B 于 8 月 14 日发布；Saluki 27B 在八周内跟上。两件事是确定的：7.89 GB 的体积让一个 27B 模型用上了 8 GB 硬件，AIME 的退步证实重数学的推理在 2 比特下确实受损。介于两者之间的一切 —— 96% 的总体保留率、工具调用的提升、九项基准的汇总 —— 都是来自一套专有评测框架的公司自报数据。等独立基准出来，它们将决定 Saluki 的保留率说法反映的是 2 比特量化质量的真实进步，还是对基准的有利挑选 —— 在把 Saluki 投入依赖精确推理的生产流程之前，这个结果值得等一等。