vLLM-SR 开源 Decision 3.0 决策模型,文本和视觉都超 Jev
0.6B 到 27B 开放权重,Jev 决策指数上胜过 Jev 和微软 Decision-1

vLLM Semantic Router 项目发布了 Decision 3.0,一个由六个开放权重多模态决策模型组成的家族,参数从 6 亿到 270 亿,全部采用 Apache-2.0 许可。项目报告的结果显示,旗舰的 270 亿参数 d3 模型在公开的 Jev 决策指数 —— 这类模型的主要基准 —— 上得 65.45 分,高于 TypeSafe 的闭源 API 系统 Jev,也高于微软最近推出的 Decision-1。六个 Decision 3.0 变体的模型卡都在 vLLM-SR 的 HuggingFace 组织页面上。
时机很有针对性。微软于 2026 年 10 月 9 日宣布 Decision-1,把它定位为新兴的决策模型类别里、面向企业的 TypeSafe Jev 的对手。两天后,vLLM-SR 项目免费发布了全部六个 Decision 3.0 变体,权重可下载、可微调、可自托管。TypeSafe 和微软的定价完全一致 —— 每百万输入 token 0.042 美元,输出 token 免费 —— 而 Decision 3.0 的开放权重让这个按次计费的底价对自己跑推理栈的团队不再相关。
决策模型不是语言模型:这个架构究竟做什么
决策模型的定义性特征在于它不做什么:不生成自由文本。大语言模型逐个产出 token,可以返回从一句话到一次函数调用的任何东西;决策模型则接收结构化的应用状态和一组带类型的问题,再从预定义的模式里返回一个按概率加权的答案。Decision 3.0 设计中的三种输出原语是 Choice(从给定列表中选一项)、Noul(二元的是/否判定)和 Score(在定义的量程上给出数值排序)。
这种约束正是重点。一个给支持工单做路由、给拉取请求指派评审人,或从保险条款列表里选择承保判定的应用,不需要一段解释 —— 它需要的是在其选项上经过校准的概率分布。TypeSafe 把自己的概率校准方法叫做 RLCD(面向校准决策的强化学习),它训练模型让 80% 的置信度大致对应 80% 的实证准确率。vLLM-SR 没有公开记录 Decision 3.0 的后训练方法,但其公布的基准表现隐含了校准。
旗舰 d3 构建于 Qwen3.8-27B 之上,那是阿里支持文本、图像和视频作为上下文的多模态模型。五个较小的变体 —— d3-flash(9B)、d3-mini(4B)、d3-nano(2B)、d3-lite(0.8B)和 d3-edge(0.6B)—— 基于阿里的轻量模型家族 Qwen3.5,并通过这个基座继承了同样的多模态输入能力。六个模型全部是 Apache-2.0。
Decision 3.0 对比 Jev 和 Microsoft-Decision-1 的得分
这个类别的主要评测场是Jev 决策指数,一个由社区开发者 multimodalart 托管在 HuggingFace 上的第三方排行榜。该指数在 37 个基准、共 140178 个请求上评估模型,分为五个等权重的领域:工具与自动化、检索与分类、语言理解、知识与推理、艺术与人类判断。分数从 0 到 100。
Decision 3.0 报告 d3 在公开套件(基准版本 v0.3.1)上得 65.45。Microsoft-Decision-1 在同一指数上 53.2 的分数出现在 Decision 3.0 的发布材料里;这个数字尚未从 HuggingFace 排行榜本身得到独立确认,应视为项目方报告的比较,而不是中立的第三方结论。
一位开发者在三个系统上跑了 75 道关于正确选择 WebMCP 工具的问题,发现 Decision 3.0 在这组任务上胜过两个竞争者。这个测试没有被独立复现。
Jev 决策指数在 TypeSafe 生态里设计和维护,早于 Decision 3.0。它的 37 个组成任务和权重结构在 Decision 3.0 模型存在之前就已确立,这可能带来偏向 TypeSafe 系架构的设计侧倾向。在独立评估者发表复现之前,两种排名都不应被当作中立的外部度量。
延伸阅读:TypeSafe 的 Jev 不生成一个字,直接给出结构化决策
部署范围:从 AMD 服务器到 Apple Silicon
vLLM-SR 在 vLLM 推理栈下、用 AMD Instinct MI325X GPU 跑了 d3 的延迟基准,这个硬件选择反映了 vLLM 对 AMD ROCm 兼容性的持续投入,也把 AMD 确立为该项目的一等部署目标。d3 的模型卡报告,在单块 MI325X 上一次一个请求地测量,文本请求中位延迟 55 毫秒,图像请求 273 毫秒。决策模型有界的输出结构 —— 在定义的模式上给一个概率分布,而不是开放式生成 —— 可能让每块 GPU 的吞吐高于同等的 LLM 服务负载。
在尺寸阶梯的另一端,d3-lite(0.8B)在一台 M5 Pro Mac 上、以苹果的 Core ML 运行做了基准测试,在一个具体的软件任务上达到约每秒 8.3 次拉取请求路由决策:根据文件差异和 PR 描述,把新进的 GitHub PR 指派给对应代码区域的评审人。一个每个工作日产生 30 个 PR 的小型工程团队,几秒钟就能用完这个路由器的每秒容量,突发之间这台 Mac 仍可用于其他工作。
基准证据的不足之处
Decision 3.0 发布中的几项说法尚未得到独立确认。项目的竞争排名 —— d3 高于 Jev,Jev 高于 Microsoft-Decision-1 —— 来自项目自己在一个由 TypeSafe 生态维护的基准上的评估运行。独立研究者尚未发表对 Decision 3.0 的 65.45 分的复现。
更深的未解问题是模式泛化。GPTS24 报道 Laya —— 一个更早的、同样在这个基准上挑战 Jev 的开放权重决策模型 —— 时发现,它在训练数据中未出现的决策模式上表现跌到接近随机。这种失效模式对 Decision 3.0 同样在架构上说得通,因为没有任何决策模型项目公开披露过其训练模式的分布。基准的 37 种任务类型每个被评估的模型都提前知道;在这 37 种之外、真正新颖的模式上会发生什么,在整个类别里仍是一个未解问题。
开放权重改变了这个类别的经济基线
据 TestingCatalog 报道,微软 Decision-1 的路线图包括计划改基于 MAI 和 OpenAI 的模型,表明公司把当前的 Qwen3.5-9B 基座视为过渡。那次更新发布时可能改变基准排名,不过尚未公布确定日期。
更直接改变的是成本结构。TypeSafe 和微软各自把决策模型 API 的价格定在每百万输入 token 0.042 美元 —— 对在自有硬件上部署 Decision 3.0 的团队,这个底价不复存在。从 d3-edge(0.6B)到 d3(27B)的六档阶梯,是为从边缘设备到多 GPU 服务器集群的全部部署约束设计的,负载扩展时不需要更换架构。这种开放权重的校准在生产规模下、面对未见过的模式类型是否站得住 —— Laya 分析留下的那个问题 —— 现在决策模型社区有了自己回答它的基础设施。